LLM ինֆերենս
vLLM, SGLang կամ Ollama՝ Open WebUI-ի հետ, լեզվական մոդելներ սպասարկելու և փորձարկելու համար։
Վարձակալեք NVIDIA GPU սերվերներ ժամային կամ վճարման ցիկլով։ Համեմատեք ակտուալ կոնֆիգուրացիաներն ու գները, սկսեք պատրաստի ձևանմուշից և միացեք SSH-ով կամ բրաուզերային տերմինալով։
ONIE GPU Cloud-ում դուք վարձակալում եք GPU սերվեր ակտուալ առկայությունից՝ ընտրելով GPU մոդելը, VRAM-ը և սկավառակը, սկսում եք այնպիսի ձևանմուշից, ինչպիսիք են PyTorch, vLLM, Ollama կամ ComfyUI, ապա միանում եք SSH-ով։ Ժամային սերվերների համար վճարումը կատարվում է ձեր հաշվի մնացորդից, իսկ կանգնեցված ժամային սերվերի համար վճարվում է միայն սկավառակը։
Իրական ժամանակի գույքագրում. առկայությունը և գները փոխվում են շուկայի հետ միասին։ Կառավարման վահանակը պատվիրելուց առաջ հաստատում է վերջնական գինը։
vLLM, SGLang կամ Ollama՝ Open WebUI-ի հետ, լեզվական մոդելներ սպասարկելու և փորձարկելու համար։
Unsloth Studio՝ լեզվական մոդելները ձեր սեփական տվյալների վրա նուրբ կարգավորելու համար։
ComfyUI՝ Flux, SDXL և տեսանյութի աշխատանքային հոսքերի համար։
PyTorch և Ubuntu 24.04 պատկերներ NVIDIA CUDA-ով, հասանելի SSH-ով։
Ubuntu դեսկտոպ բրաուզերում կամ լրիվ KVM վիրտուալ մեքենա, երբ այն ձեզ անհրաժեշտ է։
Յուրաքանչյուր ձևանմուշ նշում է իր նվազագույն CUDA տարբերակը, VRAM-ը և սկավառակը․ դրա համար առաջարկվում են միայն համատեղելի GPU-ներ։
Այն աշխատանքները, որոնք տեղավորվում են GPU հիշողության մեջ՝ LLM ինֆերենս և նուրբ կարգավորում, պատկերների և տեսանյութերի գեներացում, ռենդերինգ և CUDA մշակում։ PyTorch, vLLM, SGLang, Ollama, Unsloth և ComfyUI ձևանմուշները ծրագրային ապահովումը տեղադրում են ձեզ համար։
SSH-ով ձեր բանալիով կամ կոնսոլից բրաուզերում գտնվող տերմինալով։ Դեսկտոպ և VM ձևանմուշները նաև ապահովում են գրաֆիկական մուտք։
Գները գալիս են GPU-ների ակտուալ առկայությունից և կարող են փոխվել։ Կոնսոլը ցուցադրում է հաստատված գինը պատվիրելուց առաջ, և ձեր սերվերը վճարվում է այդ հաստատված գնով։
Ժամավճարով վճարման դեպքում կանգնեցված սերվերի համար վճարվում է միայն սկավառակի արժեքը։ Երբ տվյալները այլևս պետք չեն, ջնջեք սերվերը։
Վերևի աղյուսակում թվարկված են այն կոնֆիգուրացիաները, որոնք այս պահին հասանելի են, այդ թվում՝ NVIDIA RTX 5090՝ 32 GB VRAM-ով, երբ այն առկա է պահեստում։ Հասանելիությունը փոխվում է ամբողջ օրվա ընթացքում։