Inferencija LLM-ova
vLLM, SGLang ili Ollama s Open WebUI-jem za posluživanje i testiranje jezičnih modela.
Iznajmite NVIDIA GPU poslužitelje po satu ili po razdoblju naplate. Usporedite konfiguracije i cijene u stvarnom vremenu, započnite s gotovim predloškom i povežite se putem SSH-a ili terminala u pregledniku.
S ONIE GPU Cloudom iznajmljujete GPU poslužitelj iz aktualne ponude: odaberete model GPU-a, VRAM i disk, započnete s predloškom poput PyTorcha, vLLM-a, Ollame ili ComfyUI-ja, a zatim se povežete putem SSH-a. Poslužitelji s naplatom po satu naplaćuju se sa stanja na Vašem računu, a zaustavljeni poslužitelj s naplatom po satu naplaćuje se samo za disk.
Stanje zaliha uživo: dostupnost i cijene mijenjaju se s tržištem. Konzola potvrđuje konačnu cijenu prije narudžbe.
vLLM, SGLang ili Ollama s Open WebUI-jem za posluživanje i testiranje jezičnih modela.
Unsloth Studio za fino podešavanje jezičnih modela na Vašim vlastitim podacima.
ComfyUI za Flux, SDXL i video tijekove rada.
Slike s PyTorchom i Ubuntuom 24.04 s NVIDIA CUDA-om, dostupne putem SSH-a.
Ubuntu radna površina u pregledniku ili potpuni KVM virtualni stroj kada Vam je potreban.
Svaki predložak navodi minimalnu verziju CUDA-e, VRAM i disk; za njega se nude samo kompatibilni GPU-ovi.
Radna opterećenja koja staju u memoriju GPU-a: inferencija i fino podešavanje LLM-ova, generiranje slika i videa, renderiranje i razvoj u CUDA-i. Predlošci za PyTorch, vLLM, SGLang, Ollama, Unsloth i ComfyUI sami instaliraju potreban softver.
Putem SSH-a s Vašim ključem ili s terminalom u pregledniku iz konzole. Predlošci za radnu površinu i VM omogućuju i grafički pristup.
Cijene dolaze iz aktualne ponude GPU-ova i mogu se mijenjati. Konzola prikazuje potvrđenu cijenu prije narudžbe, a Vaš poslužitelj naplaćuje se po toj potvrđenoj cijeni.
Kod sati naplate, zaustavljeni poslužitelj se tereti samo za disk. Izbrišite poslužitelj kada više ne trebate njegove podatke.
Tablica iznad prikazuje trenutno dostupne konfiguracije, uključujući NVIDIA RTX 5090 s 32 GB VRAM-a kada je na zalihama. Dostupnost se mijenja tijekom dana.