Inferens LLM
vLLM, SGLang atau Ollama dengan Open WebUI untuk menyajikan dan menguji model bahasa.
Sewa pelayan GPU NVIDIA mengikut jam atau kitaran pengebilan. Bandingkan konfigurasi dan harga langsung, mulakan dengan templat sedia dan sambung melalui SSH atau terminal pelayar.
Dengan ONIE GPU Cloud, anda menyewa pelayan GPU daripada inventori langsung: pilih model GPU, VRAM dan cakera, mulakan dengan templat seperti PyTorch, vLLM, Ollama atau ComfyUI, kemudian sambung melalui SSH. Pelayan setiap jam dikenakan bayaran daripada baki akaun anda, dan pelayan setiap jam yang dihentikan hanya dikenakan bayaran untuk cakeranya.
Inventori langsung: ketersediaan dan harga berubah mengikut pasaran. Konsol mengesahkan harga akhir sebelum anda membuat pesanan.
vLLM, SGLang atau Ollama dengan Open WebUI untuk menyajikan dan menguji model bahasa.
Unsloth Studio untuk penalaan halus model bahasa menggunakan data anda sendiri.
ComfyUI untuk aliran kerja Flux, SDXL dan video.
Imej PyTorch dan Ubuntu 24.04 dengan NVIDIA CUDA, boleh diakses melalui SSH.
Desktop Ubuntu dalam pelayar, atau mesin maya KVM penuh apabila anda memerlukannya.
Setiap templat menyenaraikan versi CUDA minimum, VRAM dan cakera; hanya GPU yang serasi ditawarkan untuknya.
Beban kerja yang muat dalam memori GPU: inferens dan penalaan halus LLM, penjanaan imej dan video, rendering dan pembangunan CUDA. Templat untuk PyTorch, vLLM, SGLang, Ollama, Unsloth dan ComfyUI memasang perisian untuk anda.
Melalui SSH dengan kunci anda, atau dengan terminal dalam pelayar anda dari konsol. Templat desktop dan VM juga menyediakan akses grafik.
Harga diperoleh daripada inventori GPU langsung dan boleh berubah. Konsol memaparkan harga yang disahkan sebelum anda membuat pesanan, dan pelayan anda dikenakan bayaran pada harga yang disahkan itu.
Dengan bayaran per jam, pelayan yang dihentikan hanya dikenakan caj untuk cakera sahaja. Padamkan pelayan apabila anda tidak lagi memerlukan datanya.
Jadual di atas menyenaraikan konfigurasi yang tersedia pada masa ini, termasuk NVIDIA RTX 5090 dengan 32 GB VRAM apabila stok ada. Ketersediaan berubah sepanjang hari.