LLM-következtetés
vLLM, SGLang vagy Ollama az Open WebUI-val nyelvi modellek kiszolgálásához és teszteléséhez.
Béreljen NVIDIA GPU-szervereket óránkénti vagy elszámolási ciklusonkénti díjazással. Hasonlítsa össze az élő konfigurációkat és árakat, induljon el egy kész sablonból, és csatlakozzon SSH-n vagy a böngészős terminálon keresztül.
A ONIE GPU Cloud szolgáltatásban GPU-szervert bérel az élő készletből: kiválasztja a GPU-modellt, a VRAM-ot és a lemezt, elindul egy olyan sablonnal, mint a PyTorch, vLLM, Ollama vagy ComfyUI, majd SSH-n csatlakozik. Az óránkénti szerverek díját a fiókegyenlegéből vonjuk le, a leállított óránkénti szerver után pedig csak a lemez díját számítjuk fel.
Élő készlet: az elérhetőség és az árak a piaccal együtt változnak. A konzol a rendelés előtt megerősíti a végső árat.
vLLM, SGLang vagy Ollama az Open WebUI-val nyelvi modellek kiszolgálásához és teszteléséhez.
Unsloth Studio nyelvi modellek finomhangolásához a saját adatain.
ComfyUI Flux, SDXL és videós munkafolyamatokhoz.
PyTorch és Ubuntu 24.04 képek NVIDIA CUDA-val, SSH-n keresztül elérhetően.
Ubuntu asztal a böngészőben, vagy teljes KVM virtuális gép, ha arra van szüksége.
Minden sablon feltünteti a minimális CUDA-verziót, a VRAM-ot és a lemezt; csak a hozzá kompatibilis GPU-k érhetők el.
A GPU memóriájába férő munkaterheléseket: LLM-következtetést és finomhangolást, kép- és videógenerálást, renderelést és CUDA-fejlesztést. A PyTorch, vLLM, SGLang, Ollama, Unsloth és ComfyUI sablonok a szoftvert automatikusan telepítik.
SSH-n keresztül a kulcsával, vagy a konzolból elérhető böngészős terminállal. Az asztali és VM sablonok grafikus hozzáférést is biztosítanak.
Az árak az élő GPU-készletből származnak, és változhatnak. A rendelés előtt a konzol megjeleníti a megerősített árat, a szervert pedig ezen a megerősített áron számlázzuk.
Óránkénti elszámolás mellett a leállított szervert csak a lemezének díja terheli. Törölje a szervert, ha már nincs szüksége az adataira.
A fenti táblázat a jelenleg elérhető konfigurációkat tartalmazza, beleértve az NVIDIA RTX 5090-et 32 GB VRAM-mal, amikor készleten van. A rendelkezésre állás a nap folyamán változik.