LLM дүгнэлт
Хэл загваруудыг үйлчлэх болон туршихад Open WebUI-тай хамт vLLM, SGLang эсвэл Ollama.
NVIDIA GPU серверүүдийг цагаар эсвэл төлбөрийн мөчлөгөөр түрээслээрэй. Бодит цагийн тохиргоо, үнийг харьцуулж, бэлэн загвараас эхлээд SSH эсвэл хөтчийн терминалаар холбогдоно уу.
ONIE GPU Cloud-ийн тусламжтайгаар та бодит цагийн нөөцөөс GPU сервер түрээслэнэ: GPU загвар, VRAM болон дискээ сонгож, PyTorch, vLLM, Ollama эсвэл ComfyUI зэрэг загвараас эхлүүлээд SSH-ээр холбогдоно. Цагийн серверийн төлбөрийг дансны үлдэгдлээс тооцно. Зогсоосон цагийн сервер зөвхөн дискнийхээ төлбөрөөр тооцогдоно.
Шууд нөөц: боломж болон үнэ зах зээлтэй хамт өөрчлөгдөнө. Захиалахаас өмнө консоль эцсийн үнийг баталгаажуулна.
Хэл загваруудыг үйлчлэх болон туршихад Open WebUI-тай хамт vLLM, SGLang эсвэл Ollama.
Өөрийн өгөгдөл дээр хэл загваруудыг нарийвчлан сургахад зориулсан Unsloth Studio.
Flux, SDXL болон видео ажлын урсгалд зориулсан ComfyUI.
NVIDIA CUDA-тай PyTorch болон Ubuntu 24.04 зургууд, SSH-ээр хандах боломжтой.
Хөтөч дээрх Ubuntu ширээний орчин, эсвэл шаардлагатай үед бүрэн KVM виртуал машин.
Загвар бүр доод CUDA хувилбар, VRAM болон дискний шаардлагыг заана. Түүнд зөвхөн тохирох GPU-г санал болгоно.
GPU санах ойд багтах ажлын ачаалал: LLM дүгнэлт ба нарийвчлан сургалт, зураг болон видео үүсгэлт, рендеринг, CUDA хөгжүүлэлт. PyTorch, vLLM, SGLang, Ollama, Unsloth болон ComfyUI-д зориулсан загварууд програм хангамжийг танд автоматаар суулгана.
Түлхүүрээрээ SSH-ээр, эсвэл консолоос хөтчийнхөө терминалаар. Ширээний орчин болон VM загварууд график хандалтыг мөн олгоно.
Үнэ нь бодит цагийн GPU нөөцөөс авагдах бөгөөд өөрчлөгдөж болно. Захиалахаасаа өмнө консол баталгаажсан үнийг харуулах бөгөөд таны сервер тэр баталгаажсан үнээр тооцогдоно.
Цагийн төлбөрөөр зогсоосон сервер зөвхөн дискнийхээ төлбөрийг төлнө. Өгөгдлөө шаардлагагүй болсон үед серверээ устгана уу.
Дээрх хүснэгтэд одоогоор боломжтой тохиргоонууд харуулагдсан бөгөөд NVIDIA RTX 5090 (32 GB VRAM) нөөцөд байгаа үед багтсан болно. Боломжтой байдал өдрийн турш өөрчлөгдөнө.