Închiriați GPU NVIDIA A40 pe oră
NVIDIA A40 este un GPU pentru centre de date, construit pe arhitectura Ampere, cu o capacitate de calcul de 8.6 și 45 GB de VRAM. Pe ONIE, oferă aproximativ 29.9 TFLOPS de performanță în precizie simplă și o lățime de bandă a memoriei de aproximativ 536 GB/s, în limita unui consum de 300 W. Îl puteți implementa cu facturare la oră, acces SSH complet și șabloane gata de utilizare, inclusiv PyTorch/CUDA, vLLM, Ollama și ComfyUI.
Specificații
VRAM per GPU
Arhitectură
Capacitate de calcul
Calcul FP32
Lățime de bandă a memoriei
Limită de putere
Valorile sunt raportate de furnizorul de infrastructură pentru mașinile listate în prezent; performanța reală variază de la o mașină la alta.
Configurații disponibile
Stoc și prețuri live, actualizate continuu. Prețul final este confirmat înainte de comandă.
Se încarcă prețurile live…
Pentru ce este potrivit A40
Inferență pentru modele lingvistice mari
Rulați modele care necesită până la 45 GB de memorie folosind șabloane vLLM sau Ollama preconfigurate.
Ajustarea fină a modelelor de deep learning
Ajustați fin rețele neuronale în PyTorch/CUDA, beneficiind de VRAM suficient pentru dimensiuni mai mari ale loturilor și pentru ponderi.
Fluxuri de lucru pentru generarea de imagini
Rulați pipeline-uri complexe de difuzie și păstrați simultan mai multe puncte de control în memorie folosind ComfyUI.
Sarcini de calcul pentru centre de date
Folosiți aproximativ 29.9 TFLOPS de calcul în precizie simplă și o lățime de bandă a memoriei de aproximativ 536 GB/s pentru sarcini de simulare și randare.
Este GPU-ul potrivit pentru dumneavoastră?
Alegeți A40 atunci când sarcina dumneavoastră necesită 45 GB de VRAM pe o arhitectură Ampere pentru centre de date, depășind capacitățile de memorie standard ale plăcilor grafice pentru consumatori. Optați pentru o placă pentru consumatori mai mică dacă modelele dumneavoastră încap în mai puțină memorie sau treceți la un GPU pentru centre de date cu lățime de bandă mai mare dacă sarcinile de antrenare sunt limitate semnificativ de debitul memoriei.
Comparați cu GPU-uri similare
Întrebări frecvente
Este NVIDIA A40 potrivit pentru inferența și ajustarea fină a modelelor LLM?
Da, capacitatea de 45 GB de VRAM face ca A40 să fie potrivit pentru găzduirea modelelor lingvistice medii și mari și pentru ajustarea fină eficientă din punctul de vedere al numărului de parametri. Puteți lansa direct pe ONIE șabloane vLLM, Ollama sau PyTorch/CUDA și puteți începe imediat lucrul.
Cum se compară A40 cu GPU-urile mai mici pentru consumatori sau cu GPU-urile mai mari pentru centre de date?
A40 oferă 45 GB de VRAM, asigurând mai multă memorie decât GPU-urile standard pentru consumatori pentru sarcinile limitate de memorie. Totuși, lățimea de bandă a memoriei, de aproximativ 536 GB/s, este mai mică decât cea a GPU-urilor de nivel superior pentru centre de date care folosesc memorie HBM.
Ce medii software sunt disponibile pentru A40 pe ONIE?
A40 acceptă CUDA cu capacitate de calcul 8.6 și poate fi implementat cu șabloane gata de utilizare pentru PyTorch/CUDA, vLLM, Ollama și ComfyUI. Este inclus acces SSH complet, astfel încât să vă puteți personaliza stiva software după cum este necesar.
Cum funcționează facturarea pentru instanțele A40?
ONIE facturează toate închirierile A40 la oră. Plătiți doar pentru perioada în care instanța dumneavoastră este activă, ceea ce este convenabil atât pentru experimente scurte, cât și pentru execuții de producție mai îndelungate.
Închiriați A40 pe oră
Creați un cont, alegeți o configurație și conectați-vă prin SSH. Facturarea se oprește când ștergeți GPU-ul.
Închiriați A40