LLM inference
vLLM, SGLang o Ollama kasama ang Open WebUI para sa pag-serve at pagsubok ng language model.
Magrenta ng NVIDIA GPU server kada oras o ayon sa billing cycle. Ikumpara ang live na configuration at presyo, magsimula sa handa nang template, at kumonekta gamit ang SSH o browser terminal.
Sa ONIE GPU Cloud, nagrerenta ka ng GPU server mula sa live na imbentaryo: piliin ang modelo ng GPU, VRAM at disk, magsimula sa template gaya ng PyTorch, vLLM, Ollama o ComfyUI, saka kumonekta gamit ang SSH. Sinisingil mula sa balanse ng iyong account ang mga hourly na server, at ang naka-stop na hourly server ay sisingilin lamang para sa disk nito.
Live na imbentaryo: nagbabago ang availability at presyo ayon sa merkado. Kinukumpirma ng console ang huling presyo bago ka mag-order.
vLLM, SGLang o Ollama kasama ang Open WebUI para sa pag-serve at pagsubok ng language model.
Unsloth Studio para sa fine-tuning ng language model gamit ang sarili mong data.
ComfyUI para sa Flux, SDXL at video workflow.
Mga PyTorch at Ubuntu 24.04 image na may NVIDIA CUDA, na maaaring i-access sa pamamagitan ng SSH.
Ubuntu desktop sa browser, o buong KVM virtual machine kapag kailangan mo ito.
Nakalista sa bawat template ang minimum na bersyon ng CUDA, VRAM at disk nito; tanging compatible na GPU lamang ang iniaalok dito.
Mga workload na kasya sa memorya ng GPU: LLM inference at fine-tuning, pag-generate ng larawan at video, rendering, at pag-develop gamit ang CUDA. Awtomatikong ini-install ng mga template para sa PyTorch, vLLM, SGLang, Ollama, Unsloth at ComfyUI ang software para sa iyo.
Sa pamamagitan ng SSH gamit ang iyong key, o gamit ang terminal sa browser mula sa console. Nagbibigay din ng graphical access ang mga desktop at VM template.
Galing sa live na imbentaryo ng GPU ang mga presyo at maaaring magbago. Ipinapakita ng console ang kumpirmadong presyo bago ka mag-order, at sisingilin ang iyong server sa kumpirmadong presyong iyon.
Kapag hourly ang billing, sinisingil lang ang stopped na server para sa disk nito. I-delete ang server kapag hindi mo na kailangan ang data nito.
Nakalista sa itaas na table ang mga configuration na kasalukuyang available, kasama ang NVIDIA RTX 5090 na may 32 GB na VRAM kapag may stock. Nagbabago ang availability sa buong araw.