Wnioskowanie LLM
vLLM, SGLang lub Ollama z Open WebUI do uruchamiania i testowania modeli językowych.
Wynajmuj serwery z GPU NVIDIA na godziny lub w okresach rozliczeniowych. Porównuj aktualne konfiguracje i ceny, zacznij od gotowego szablonu i połącz się przez SSH lub terminal w przeglądarce.
W usłudze ONIE GPU Cloud wynajmują Państwo serwer GPU z aktualnej dostępności: wybierają Państwo model GPU, VRAM i dysk, zaczynają od gotowego szablonu, takiego jak PyTorch, vLLM, Ollama lub ComfyUI, a następnie łączą się przez SSH. Serwery godzinowe są rozliczane z salda konta, a zatrzymany serwer godzinowy jest rozliczany wyłącznie za dysk.
Stan magazynowy na żywo: dostępność i ceny zmieniają się wraz z rynkiem. Konsola potwierdza ostateczną cenę przed złożeniem zamówienia.
vLLM, SGLang lub Ollama z Open WebUI do uruchamiania i testowania modeli językowych.
Unsloth Studio do dostrajania modeli językowych na własnych danych.
ComfyUI dla Flux, SDXL i przepływów pracy wideo.
Obrazy PyTorch i Ubuntu 24.04 z NVIDIA CUDA, dostępne przez SSH.
Pulpit Ubuntu w przeglądarce lub pełna maszyna wirtualna KVM, gdy jest potrzebna.
Każdy szablon podaje minimalną wersję CUDA, VRAM i dysk; dla danego szablonu oferowane są wyłącznie zgodne GPU.
Obciążenia mieszczące się w pamięci GPU: wnioskowanie i dostrajanie LLM, generowanie obrazów i wideo, renderowanie oraz rozwój CUDA. Szablony dla PyTorch, vLLM, SGLang, Ollama, Unsloth i ComfyUI instalują oprogramowanie automatycznie.
Przez SSH z użyciem klucza lub przez terminal w przeglądarce z poziomu konsoli. Szablony pulpitu i maszyny wirtualnej zapewniają także dostęp graficzny.
Ceny pochodzą z aktualnej dostępności GPU i mogą ulec zmianie. Konsola wyświetla potwierdzoną cenę przed złożeniem zamówienia, a serwer jest rozliczany według tej potwierdzonej ceny.
Przy rozliczeniu godzinowym zatrzymany serwer jest obciążany wyłącznie za dysk. Usuń serwer, gdy nie potrzebujesz już jego danych.
Tabela powyżej zawiera aktualnie dostępne konfiguracje, w tym NVIDIA RTX 5090 z 32 GB VRAM, gdy jest na stanie. Dostępność zmienia się w ciągu dnia.