LLM-ide järeldamine
vLLM, SGLang või Ollama koos Open WebUI-ga keelemudelite teenindamiseks ja testimiseks.
Rendi NVIDIA GPU-servereid tunnipõhiselt või arveldustsükli alusel. Võrdle reaalajas konfiguratsioone ja hindu, alusta valmismallist ning ühendu SSH-ga või brauseri terminali kaudu.
ONIE GPU Cloudis rendid GPU-serveri reaalajas saadavusest: vali GPU mudel, VRAM ja kettamaht, alusta mallist nagu PyTorch, vLLM, Ollama või ComfyUI ning ühendu SSH-ga. Tunnipõhiseid servereid arveldatakse sinu kontojäägist ning peatatud tunnipõhise serveri eest tasutakse ainult kettaruumi eest.
Reaalajas laovaru: saadavus ja hinnad muutuvad turu järgi. Konsool kinnitab lõpliku hinna enne tellimist.
vLLM, SGLang või Ollama koos Open WebUI-ga keelemudelite teenindamiseks ja testimiseks.
Unsloth Studio keelemudelite peenhäälestamiseks sinu enda andmetel.
ComfyUI Flux, SDXL ja videotöövoogude jaoks.
PyTorch ja Ubuntu 24.04 pildid NVIDIA CUDA-ga, SSH kaudu kättesaadavad.
Ubuntu töölaud brauseris või täielik KVM virtuaalmasin, kui seda vajad.
Iga mall loetleb minimaalse CUDA versiooni, VRAM-i ja kettamahu ning malli jaoks pakutakse ainult sobivaid GPU-sid.
Töökoormused, mis mahuvad GPU mällu: LLM-ide järeldamine ja peenhäälestus, pildi- ja videogenereerimine, renderdamine ning CUDA arendus. Mallid PyTorchile, vLLM-ile, SGLang-ile, Ollamale, Unslothile ja ComfyUI-le paigaldavad tarkvara sinu eest.
SSH kaudu oma võtmega või konsoolis oleva brauseri terminaliga. Töölaua- ja VM-i mallid pakuvad ka graafilist juurdepääsu.
Hinnad pärinevad reaalajas GPU saadavusest ja võivad muutuda. Konsool kuvab enne tellimist kinnitatud hinna ning sinu server arvestatakse selle kinnitatud hinna järgi.
Tunnipõhise arveldamise korral makstakse peatatud serveri eest ainult kettaruumi eest. Kustutage server, kui te selle andmeid enam ei vaja.
Ülaloleval tabelis on loetletud praegu saadaval olevad konfiguratsioonid, sh NVIDIA RTX 5090 32 GB VRAM-iga, kui see on laos. Saadavus muutub päeva jooksul.