Sklepanje z LLM-ji
vLLM, SGLang ali Ollama z Open WebUI za posredovanje in testiranje jezikovnih modelov.
Najemite strežnike NVIDIA GPU po uri ali po obračunskem obdobju. Primerjajte konfiguracije in cene v živo, začnite s pripravljeno predlogo in se povežite prek SSH ali brskalniškega terminala.
Z ONIE GPU Cloud najamete strežnik GPU iz zaloge v živo: izberete model GPU-ja, VRAM in disk, začnete s predlogo, kot so PyTorch, vLLM, Ollama ali ComfyUI, nato se povežete prek SSH. Strežniki z urnim obračunavanjem se obračunavajo iz stanja na vašem računu, ustavljen strežnik z urnim obračunavanjem pa se obračunava samo za disk.
Stanje zalog v živo: razpoložljivost in cene se spreminjajo glede na tržne razmere. Konzola pred naročilom potrdi končno ceno.
vLLM, SGLang ali Ollama z Open WebUI za posredovanje in testiranje jezikovnih modelov.
Unsloth Studio za fino prilagajanje jezikovnih modelov na vaših podatkih.
ComfyUI za delovne tokove Flux, SDXL in video.
Slike PyTorch in Ubuntu 24.04 z NVIDIA CUDA, dostopne prek SSH.
Namizje Ubuntu v brskalniku ali popolnoma virtualni stroj KVM, kadar ga potrebujete.
Vsaka predloga navaja najnižjo različico CUDA, VRAM in disk; zanjo so ponujeni samo združljivi GPU-ji.
Delovne obremenitve, ki se prilegajo pomnilniku GPU-ja: sklepanje z LLM-ji in fino prilagajanje, ustvarjanje slik in videa, upodabljanje ter razvoj s CUDA. Predloge za PyTorch, vLLM, SGLang, Ollama, Unsloth in ComfyUI programsko opremo namestijo namesto vas.
Prek SSH s svojim ključem ali s terminalom v brskalniku iz konzole. Predloge za namizje in VM omogočajo tudi grafični dostop.
Cene prihajajo iz zaloge GPU-jev v živo in se lahko spremenijo. Konzola pred naročilom prikaže potrjeno ceno, strežnik pa se obračunava po tej potrjeni ceni.
Pri urniku po porabi se ustavljen strežnik zaračunava samo za disk. Strežnik izbrišite, ko podatkov ne potrebujete več.
Zgoraj navedeni seznam prikazuje trenutno razpoložljive konfiguracije, vključno z NVIDIA RTX 5090 z 32 GB VRAM-a, kadar je na zalogi. Razpoložljivost se čez dan spreminja.