LLM инференсі
Тіл модельдерін іске қосу және сынау үшін Open WebUI бар vLLM, SGLang немесе Ollama.
NVIDIA GPU серверлерін сағаттық немесе төлем циклі бойынша жалға алыңыз. Нақты уақыттағы конфигурациялар мен бағаларды салыстырыңыз, дайын үлгіден бастаңыз және SSH немесе браузердегі терминал арқылы қосылыңыз.
ONIE GPU Cloud қызметінде нақты уақыттағы қордан GPU сервері жалға алынады: GPU моделін, VRAM және дискті таңдаңыз, PyTorch, vLLM, Ollama немесе ComfyUI сияқты үлгіден бастаңыз, содан кейін SSH арқылы қосылыңыз. Сағаттық серверлерге шотыңыздағы қаражат есебінен ақы алынады, ал тоқтатылған сағаттық серверге тек диск үшін ақы алынады.
Нақты уақыттағы қойма: қолжетімділік пен бағалар нарыққа байланысты өзгереді. Тапсырыс бермес бұрын консоль соңғы бағаны растайды.
Тіл модельдерін іске қосу және сынау үшін Open WebUI бар vLLM, SGLang немесе Ollama.
Тіл модельдерін өз деректеріңізде нақтылап баптауға арналған Unsloth Studio.
Flux, SDXL және бейне жұмыс процестеріне арналған ComfyUI.
NVIDIA CUDA орнатылған PyTorch және Ubuntu 24.04 бейнелері, SSH арқылы қолжетімді.
Браузердегі Ubuntu жұмыс үстелі немесе қажет болған жағдайда толық KVM виртуалды машинасы.
Әр үлгіде минималды CUDA нұсқасы, VRAM және диск көрсетіледі; оған тек үйлесімді GPU-лар ұсынылады.
GPU жадына сыятын жүктемелер: LLM инференсі және нақтылап баптау, сурет және бейне генерациясы, рендеринг және CUDA әзірлеу. PyTorch, vLLM, SGLang, Ollama, Unsloth және ComfyUI үлгілері бағдарламалық құралды сіз үшін орнатады.
Кілтіңіз арқылы SSH бойынша немесе консольдегі браузер терминалы арқылы. Жұмыс үстелі және VM үлгілері графикалық қатынасты да қамтамасыз етеді.
Бағалар нақты уақыттағы GPU қорынан алынады және өзгеруі мүмкін. Консоль тапсырыс бермес бұрын расталған бағаны көрсетеді, ал серверіңізге осы расталған баға бойынша ақы алынады.
Сағаттық төлем кезінде тоқтатылған сервер тек дискі үшін ақы алады. Деректеріңіз қажет болмаған кезде серверді жойыңыз.
Жоғарыдағы кестеде қазір қолжетімді конфигурациялар көрсетілген, оның ішінде қоймада бар болған кезде 32 GB VRAM-ы бар NVIDIA RTX 5090 де бар. Қолжетімділік күн бойы өзгеріп отырады.