Inferensi LLM
Jalankan model yang muat dalam 32 GB, umumnya terkuantisasi, menggunakan vLLM, SGLang, atau Ollama.
Server RTX 5090 dengan memori 32 GB GDDR7 pada arsitektur Blackwell, untuk inferensi LLM, pembuatan gambar, dan pengembangan CUDA. Periksa konfigurasi dan harga terkini, lalu buat server Anda dari konsol.
ONIE menyewakan server GPU NVIDIA RTX 5090 dengan 32 GB GDDR7 VRAM dari inventaris langsung. Pilih templat yang dibuat untuk CUDA 12.8 atau yang lebih baru, seperti PyTorch, vLLM, atau ComfyUI, pilih ukuran disk, dan bayar per jam atau per siklus tagihan; lalu hubungkan melalui SSH atau terminal browser.
Inventaris langsung: ketersediaan dan harga berubah mengikuti pasar. Konsol akan mengonfirmasi harga akhir sebelum Anda memesan.
Jalankan model yang muat dalam 32 GB, umumnya terkuantisasi, menggunakan vLLM, SGLang, atau Ollama.
Alur kerja ComfyUI dengan Flux, SDXL, dan model video.
Fine-tuning metode LoRA untuk model berukuran lebih kecil dengan Unsloth Studio.
Ubuntu 24.04 dengan CUDA 13.0 untuk membangun dan menguji kode GPU.
Periksa VRAM minimum dari suatu templat sebelum memesan; model yang lebih besar dari 32 GB memerlukan kuantisasi atau konfigurasi multi-GPU.
32 GB GDDR7 per GPU. Dalam konfigurasi multi-GPU, setiap GPU memiliki 32 GB masing-masing.
RTX 5090 menggunakan arsitektur Blackwell dan memerlukan CUDA 12.8 atau lebih baru. Templat RTX 5090 menggunakan CUDA 12.8 atau 13.0, dan hanya server yang kompatibel yang ditawarkan.
Per jam selama server berjalan, atau berdasarkan siklus bulanan, triwulanan, semesteran, atau tahunan. Disk dikenakan biaya per GB, dan server per jam yang dihentikan hanya ditagih untuk biaya disknya.
Ya, model yang muat dalam 32 GB VRAM, umumnya dengan kuantisasi, atau model yang lebih besar di beberapa GPU saat konfigurasi multi-GPU tersedia.
Ketersediaan mengikuti inventaris waktu nyata. Silakan periksa kembali nanti, atau pilih GPU lain dengan VRAM yang mencukupi di halaman GPU Cloud.