Inference LLM
vLLM, SGLang nebo Ollama s Open WebUI pro obsluhu a testování jazykových modelů.
Pronajměte si servery s GPU NVIDIA hodinově nebo na fakturační cykly. Porovnejte aktuální konfigurace a ceny, začněte z hotové šablony a připojte se přes SSH nebo terminál v prohlížeči.
U ONIE GPU Cloud si pronajmete GPU server z aktuální nabídky: zvolíte model GPU, VRAM a disk, začnete z šablony, například PyTorch, vLLM, Ollama nebo ComfyUI, a poté se připojíte přes SSH. Hodinové servery se účtují z kreditu na vašem účtu a zastavený hodinový server se účtuje pouze za svůj disk.
Živý stav skladu: dostupnost a ceny se mění podle trhu. Konzole potvrdí konečnou cenu před objednávkou.
vLLM, SGLang nebo Ollama s Open WebUI pro obsluhu a testování jazykových modelů.
Unsloth Studio pro dolaďování jazykových modelů na vašich vlastních datech.
ComfyUI pro Flux, SDXL a video workflow.
Obrazy PyTorch a Ubuntu 24.04 s NVIDIA CUDA, přístupné přes SSH.
Plocha Ubuntu v prohlížeči nebo plnohodnotný virtuální stroj KVM, pokud jej potřebujete.
Každá šablona uvádí minimální verzi CUDA, VRAM a disk. Nabízejí se pro ni pouze kompatibilní GPU.
Úlohy, které se vejdou do paměti GPU: inference a dolaďování LLM, generování obrázků a videa, renderování a vývoj v CUDA. Šablony pro PyTorch, vLLM, SGLang, Ollama, Unsloth a ComfyUI software nainstalují za vás.
Přes SSH pomocí vašeho klíče, nebo pomocí terminálu v prohlížeči z konzole. Šablony pro plochu a VM nabízejí také grafický přístup.
Ceny vycházejí z aktuální nabídky GPU a mohou se měnit. Konzole zobrazí potvrzenou cenu před objednávkou a váš server se účtuje za tuto potvrzenou cenu.
S hodinovou fakturací se zastavený server účtuje pouze za disk. Server smažte, až už jeho data nepotřebujete.
Tabulka výše uvádí aktuálně dostupné konfigurace, včetně NVIDIA RTX 5090 s 32 GB VRAM, pokud je skladem. Dostupnost se během dne mění.