Lloga GPU NVIDIA A40 per hora
La NVIDIA A40 és una GPU per a centres de dades basada en l’arquitectura Ampere, amb una capacitat de càlcul 8.6 i 45 GB de VRAM. A ONIE, ofereix un rendiment d’aproximadament 29.9 TFLOPS en precisió simple i una amplada de banda de memòria d’aproximadament 536 GB/s, amb un consum màxim de 300 W. Pot desplegar-la amb facturació per hora, accés SSH complet i plantilles llestes per utilitzar, com ara PyTorch/CUDA, vLLM, Ollama i ComfyUI.
Especificacions
VRAM per GPU
Arquitectura
Capacitat de còmput
Còmput FP32
Ample de banda de memòria
Límit de potència
Valors informats pel proveïdor d'infraestructura per a les màquines que hi ha disponibles actualment; el rendiment real varia segons la màquina.
Configuracions disponibles
Estoc i preus en directe, actualitzats contínuament. El preu final es confirma abans de fer la comanda.
Carregant preus en directe…
Per a què serveix la A40
Inferència de models de llenguatge grans
Executeu models que requereixin fins a 45 GB de memòria amb plantilles preconfigurades de vLLM o Ollama.
Ajustament fi d’aprenentatge profund
Ajusteu xarxes neuronals amb PyTorch/CUDA i aprofiteu l’àmplia VRAM per a mides de lot i pesos més grans.
Fluxos de treball d’imatges generatives
Executeu pipelines de difusió complexos i mantingueu diversos punts de control a la memòria alhora amb ComfyUI.
Tasques de càlcul per a centres de dades
Aprofiteu aproximadament 29.9 TFLOPS de càlcul en precisió simple i una amplada de banda de memòria d’aproximadament 536 GB/s per a càrregues de treball de simulació i renderització.
És la GPU adequada per a vostè?
Triï l’A40 si la seva càrrega de treball requereix 45 GB de VRAM en una arquitectura Ampere per a centres de dades, una capacitat superior a la de les targetes de consum estàndard. Opti per una targeta de consum més petita si els seus models caben en menys memòria, o passi a una GPU per a centres de dades amb més amplada de banda si les tasques d’entrenament estan molt limitades pel rendiment de la memòria.
Compari amb GPU similars
Preguntes freqüents
La NVIDIA A40 és adequada per a la inferència de LLM i l’ajustament fi?
Sí. La capacitat de 45 GB de VRAM fa que l’A40 sigui molt adequada per allotjar models de llenguatge mitjans i grans i per fer ajustament fi eficient en paràmetres. Pot iniciar directament a ONIE plantilles de vLLM, Ollama o PyTorch/CUDA per començar a treballar de seguida.
Com es compara l’A40 amb les GPU de consum més petites o les GPU més grans per a centres de dades?
L’A40 ofereix 45 GB de VRAM, de manera que disposa de més marge de memòria que amb les GPU de consum estàndard per a càrregues de treball limitades per la memòria. Tanmateix, la seva amplada de banda de memòria, d’aproximadament 536 GB/s, és inferior a la de les GPU de gamma superior per a centres de dades que utilitzen memòria HBM.
Quins entorns de programari hi ha disponibles per a l’A40 a ONIE?
L’A40 admet la capacitat de càlcul CUDA 8.6 i es pot desplegar amb plantilles llestes per utilitzar de PyTorch/CUDA, vLLM, Ollama i ComfyUI. S’hi inclou accés SSH complet perquè pugui personalitzar la seva pila de programari segons les necessitats.
Com funciona la facturació de les instàncies A40?
ONIE aplica facturació per hora a tots els lloguers d’A40. Només paga pel temps que la instància està activa, cosa que la fa pràctica tant per a experiments breus com per a execucions de producció més llargues.
Llogui la A40 per hores
Crei un compte, triï una configuració i connecti's per SSH. La facturació s'atura quan elimini la GPU.
Llogar A40