Inferencia LLM
vLLM, SGLang alebo Ollama s Open WebUI na spúšťanie a testovanie jazykových modelov.
Prenajímajte servery s GPU NVIDIA hodinovo alebo na fakturačné obdobia. Porovnávajte aktuálne konfigurácie a ceny, začnite z hotovej šablóny a pripojte sa cez SSH alebo terminál v prehliadači.
S ONIE GPU Cloud si prenajmete GPU server z aktuálnej ponuky: vyberiete model GPU, VRAM a disk, začnete zo šablóny, napríklad PyTorch, vLLM, Ollama alebo ComfyUI, a potom sa pripojíte cez SSH. Hodinové servery sa účtujú z kreditu na vašom účte a zastavený hodinový server sa účtuje iba za svoj disk.
Živá ponuka: dostupnosť a ceny sa menia podľa trhu. Konzola potvrdí konečnú cenu pred objednávkou.
vLLM, SGLang alebo Ollama s Open WebUI na spúšťanie a testovanie jazykových modelov.
Unsloth Studio na doladenie jazykových modelov na vlastných dátach.
ComfyUI pre workflow Flux, SDXL a video.
Obrazy PyTorch a Ubuntu 24.04 s NVIDIA CUDA, dostupné cez SSH.
Ubuntu desktop v prehliadači alebo úplný virtuálny stroj KVM, ak ho potrebujete.
Každá šablóna uvádza minimálnu verziu CUDA, VRAM a disk; pre ňu sa ponúkajú iba kompatibilné GPU.
Záťaže, ktoré sa zmestia do pamäte GPU: inferencia a doladenie LLM, generovanie obrázkov a videa, renderovanie a vývoj v CUDA. Šablóny pre PyTorch, vLLM, SGLang, Ollama, Unsloth a ComfyUI nainštalujú softvér za vás.
Cez SSH s vaším kľúčom alebo pomocou terminálu v prehliadači z konzoly. Šablóny Desktop a VM poskytujú aj grafický prístup.
Ceny vychádzajú z aktuálnej ponuky GPU a môžu sa meniť. Konzola zobrazí potvrdenú cenu pred objednávkou a váš server sa bude účtovať za túto potvrdenú cenu.
Pri hodinovej fakturácii sa za zastavený server účtuje iba jeho disk. Server odstráňte, keď jeho dáta už nepotrebujete.
Tabuľka vyššie uvádza aktuálne dostupné konfigurácie vrátane NVIDIA RTX 5090 s 32 GB VRAM, ak je na sklade. Dostupnosť sa počas dňa mení.