LLM 推論
透過 vLLM、SGLang 或 Ollama 部署可載入至 32 GB 記憶體的模型(通常經過量化)。
採用 Blackwell 架構、配備 32 GB GDDR7 記憶體的 RTX 5090 伺服器,適用於 LLM 推論、影像生成與 CUDA 開發。查看目前的規格配置與價格,即可從主控台建立伺服器。
ONIE 提供即時庫存的 NVIDIA RTX 5090 GPU 伺服器租用,配備 32 GB GDDR7 VRAM。選擇專為 CUDA 12.8 或更新版本建置的範本(如 PyTorch、vLLM 或 ComfyUI),設定磁碟大小並選擇按時計費或按帳單週期付款,接著即可透過 SSH 或瀏覽器終端機連線。
即時庫存:可用性與價格會隨市場變動。主控台會在您下單前確認最終價格。
透過 vLLM、SGLang 或 Ollama 部署可載入至 32 GB 記憶體的模型(通常經過量化)。
執行採用 Flux、SDXL 與影片模型的 ComfyUI 工作流程。
使用 Unsloth Studio 對小型模型進行 LoRA 微調。
內建 CUDA 13.0 的 Ubuntu 24.04 環境,用於建置與測試 GPU 程式碼。
下單前請先確認範本的最低 VRAM 需求;大於 32 GB 的模型需進行量化或採用多 GPU 配置。
每顆 GPU 配備 32 GB GDDR7。在多 GPU 配置中,每顆 GPU 皆有各自獨立的 32 GB 記憶體。
RTX 5090 採用 Blackwell 架構,需要 CUDA 12.8 或更新版本。RTX 5090 範本使用 CUDA 12.8 或 13.0,且僅提供相容的伺服器。
執行期間按小時計費,或按月、季、半年、年週期計費。磁碟依 GB 計費,已停止的按時計費伺服器僅收取磁碟費用。
可以,只要是能載入 32 GB VRAM 的模型(通常搭配量化技術),或是在有多 GPU 配置可用時,跨多個 GPU 執行更大的模型。
供應情況取決於即時庫存。請稍後再回來查看,或在 GPU Cloud 頁面上選擇其他具備足夠 VRAM 的 GPU。