GPU Cloud · NVIDIA · Ampere

按小時租用 NVIDIA A40 GPU

NVIDIA A40 是一款基於 Ampere 架構打造的資料中心 GPU,具備 8.6 運算能力與 45 GB VRAM。在 ONIE 上,它在 300 W 的功耗範圍內,提供約 29.9 TFLOPS 的單精度效能與約 536 GB/s 的記憶體頻寬。您可以透過按小時計費、完整的 SSH 存取權限,以及包含 PyTorch/CUDA、vLLM、Ollama 和 ComfyUI 在內的現成範本進行部署。

規格

每顆 GPU 的 VRAM

45 GB

架構

NVIDIA Ampere

運算能力 (Compute Capability)

8.6

FP32 算力

≈ 29.9 TFLOPS

記憶體頻寬

≈ 536 GB/s

功耗限制

300 W

數值由基礎設施供應商針對目前上架的機器提供;實際效能會因機器而異。

可用配置

即時庫存與價格持續更新,最終價格將於下單前確認。

正在載入即時價格…

A40 適合的應用場景

大型語言模型推論

使用預先設定的 vLLM 或 Ollama 範本,執行需要高達 45 GB 記憶體的模型。

深度學習微調

憑藉充足的 VRAM,在 PyTorch/CUDA 中微調神經網路,以支援更大的批次大小與權重。

生成式影像工作流程

使用 ComfyUI 執行複雜的擴散管線,並在記憶體中同時保留多個檢查點。

資料中心運算任務

運用約 29.9 TFLOPS 的單精度運算能力與約 536 GB/s 的記憶體頻寬,處理模擬與算繪工作負載。

這款 GPU 適合您嗎?

當您的工作負載需要在資料中心 Ampere 架構上使用 45 GB 的 VRAM(超越標準消費級記憶體容量)時,請選擇 A40。如果您的模型只需較少的記憶體即可運作,可選擇較小的消費級顯示卡;若您的訓練作業嚴重受限於記憶體吞吐量,則建議改用頻寬更高的資料中心 GPU。

與同級 GPU 比較

GPU每顆 GPU 的 VRAM架構FP32 算力每小時起價詳細資訊
A4045 GBAmpere≈ 29.9 TFLOPS—
RTX A600048 GBAmpere≈ 36.1 TFLOPS—詳細資訊
RTX 309024 GBAmpere≈ 35.4 TFLOPS—詳細資訊
RTX 3090 Ti24 GBAmpere≈ 36.4 TFLOPS—詳細資訊

常見問題

NVIDIA A40 適合用於 LLM 推論與微調嗎?

是的,45 GB 的 VRAM 容量使 A40 非常適合用於託管中大型語言模型,以及執行參數高效微調。您可以直接在 ONIE 上啟動 vLLM、Ollama 或 PyTorch/CUDA 範本,立即開始作業。

A40 與較小的消費級 GPU 或較大的資料中心 GPU 相比如何?

A40 提供 45 GB 的 VRAM,針對受限於記憶體容量的工作負載,能比標準消費級 GPU 提供更多的記憶體裕度。不過,其約 536 GB/s 的記憶體頻寬低於採用 HBM 記憶體的高階資料中心 GPU。

在 ONIE 上,A40 有哪些可用的軟體環境?

A40 支援 CUDA 運算能力 8.6,並可使用 PyTorch/CUDA、vLLM、Ollama 及 ComfyUI 的現成範本進行部署。同時包含完整的 SSH 存取權限,讓您能依需求自訂軟體環境。

A40 執行個體如何計費?

ONIE 對所有 A40 租用均採用按小時計費。您只需為執行個體處於啟用狀態的時間付費,這對於短期實驗或長期的正式環境執行都相當實用。

按小時租用 A40

建立帳號、選擇配置並透過 SSH 連線。刪除 GPU 即停止計費。

租用 A40

所有 GPU →