LLM 推論
vLLM、SGLang、または Ollama を使用して、32 GB に収まるモデル(多くの場合は量子化済み)をサービングします。
LLM 推論、画像生成、CUDA 開発向けの、Blackwell アーキテクチャ採用・32 GB GDDR7 メモリ搭載 RTX 5090 サーバーです。現在の構成と価格を確認し、コンソールからサーバーを作成できます。
ONIE では、32 GB の GDDR7 VRAM を搭載した NVIDIA RTX 5090 GPU サーバーをリアルタイムの在庫からレンタルできます。PyTorch、vLLM、ComfyUI など、CUDA 12.8 以降向けに構築されたテンプレートを選択し、ディスクサイズを決めて時間単位または請求サイクル単位で支払います。その後、SSH またはブラウザターミナルで接続できます。
リアルタイム在庫:空き状況と料金は市場に応じて変動します。注文前にコンソールで最終料金をご確認いただけます。
vLLM、SGLang、または Ollama を使用して、32 GB に収まるモデル(多くの場合は量子化済み)をサービングします。
Flux、SDXL、動画モデルを使用した ComfyUI ワークフロー。
Unsloth Studio を使用した、小規模モデルの LoRA 方式ファインチューニング。
GPU コードのビルドとテストのための CUDA 13.0 搭載 Ubuntu 24.04。
注文前にテンプレートの最小 VRAM 要件を確認してください。32 GB を超えるモデルには、量子化またはマルチ GPU 構成が必要です。
GPU 1基あたり 32 GB の GDDR7 を搭載しています。マルチ GPU 構成では、各 GPU がそれぞれ 32 GB を持ちます。
RTX 5090 は Blackwell アーキテクチャを採用しており、CUDA 12.8 以降が必要です。RTX 5090 テンプレートでは CUDA 12.8 または 13.0 を使用しており、互換性のあるサーバーのみが提供されます。
稼働中の時間単位課金、または月次、四半期、半年、年次のサイクルで請求されます。ディスクは GB 単位で課金され、停止中の時間単位課金サーバーはディスク料金のみが請求されます。
はい、量子化などを用いて 32 GB の VRAM に収まるモデルを実行できます。また、マルチ GPU 構成が利用可能な場合は、複数の GPU にまたがってより大規模なモデルを実行できます。
空き状況はリアルタイムの在庫に連動しています。時間をおいて再度ご確認いただくか、GPU Cloud ページで十分な VRAM を備えた別の GPU をお選びください。