LLM inferencija
vLLM, SGLang ar Ollama su Open WebUI kalbos modeliams aptarnauti ir testuoti.
Nuomokite NVIDIA GPU serverius valandomis arba pagal apmokestinimo laikotarpį. Palyginkite tiesiogiai pateiktas konfigūracijas ir kainas, pradėkite nuo paruošto šablono ir prisijunkite per SSH arba naršyklės terminalą.
Su ONIE GPU Cloud išsinuomojate GPU serverį iš tiesioginio prieinamumo sąrašo: pasirenkate GPU modelį, VRAM ir diską, pradedate nuo šablono, pvz., PyTorch, vLLM, Ollama ar ComfyUI, o tada prisijungiate per SSH. Valandiniai serveriai apmokestinami iš jūsų sąskaitos likučio, o sustabdytas valandinis serveris apmokestinamas tik už diską.
Gyvi atsargų duomenys: pasiekiamumas ir kainos kinta priklausomai nuo rinkos. Galutinę kainą valdymo skydelis patvirtina prieš užsakymą.
vLLM, SGLang ar Ollama su Open WebUI kalbos modeliams aptarnauti ir testuoti.
Unsloth Studio kalbos modeliams tikslinti pagal jūsų duomenis.
ComfyUI Flux, SDXL ir vaizdo įrašų darbo eigoms.
PyTorch ir Ubuntu 24.04 vaizdai su NVIDIA CUDA, pasiekiami per SSH.
Ubuntu darbalaukis naršyklėje arba pilna KVM virtuali mašina, kai jos reikia.
Kiekvienas šablonas nurodo mažiausią CUDA versiją, VRAM ir diską; jam siūlomi tik suderinami GPU.
Darbus, tilpstančius į GPU atmintį: LLM inferenciją ir tikslinimą, vaizdų ir vaizdo įrašų generavimą, atvaizdavimą ir CUDA kūrimą. Šablonai PyTorch, vLLM, SGLang, Ollama, Unsloth ir ComfyUI įdiegia programinę įrangą už jus.
Per SSH su savo raktu arba naudojant terminalą naršyklėje iš konsolės. Darbalaukio ir VM šablonai taip pat suteikia grafinę prieigą.
Kainos gaunamos iš tiesioginio GPU prieinamumo sąrašo ir gali keistis. Konsolėje prieš užsakymą rodoma patvirtinta kaina, o jūsų serveris apmokestinamas pagal šią patvirtintą kainą.
Su valandiniu mokėjimu sustabdytas serveris apmokestinamas tik už diską. Ištrinkite serverį, kai jo duomenų nebereikia.
Lentelėje pateiktos šiuo metu prieinamos konfigūracijos, įskaitant NVIDIA RTX 5090 su 32 GB VRAM, kai jo yra sandėlyje. Prieinamumas per dieną keičiasi.