Iznajmite NVIDIA A40 GPU po satu
NVIDIA A40 je GPU za podatkovne centre izgrađen na arhitekturi Ampere, s računalnom sposobnošću 8.6 i 45 GB VRAM-a. Na usluzi ONIE pruža oko 29.9 TFLOPS performansi u jednostrukoj preciznosti i oko 536 GB/s memorijske propusnosti uz potrošnju od 300 W. Možete ga pokrenuti uz naplatu po satu, puni SSH pristup i gotove predloške, uključujući PyTorch/CUDA, vLLM, Ollama i ComfyUI.
Specifikacije
VRAM po GPU-u
Arhitektura
Računalna sposobnost
FP32 računanje
Propusnost memorije
Ograničenje snage
Vrijednosti koje je navela infrastrukturna platforma za trenutno navedene strojeve; stvarne performanse razlikuju se ovisno o stroju.
Dostupne konfiguracije
Zalihe i cijene u stvarnom vremenu, neprekidno ažurirane. Konačnu cijenu potvrđujemo prije narudžbe.
Učitavanje cijena u stvarnom vremenu…
Za što je A40 pogodan
Inferencija velikih jezičnih modela
Pokrećite modele kojima je potrebno do 45 GB memorije pomoću unaprijed konfiguriranih predložaka vLLM ili Ollama.
Dodatno treniranje modela dubokog učenja
Dodatno trenirajte neuronske mreže u PyTorch/CUDA okruženju uz dovoljno VRAM-a za veće veličine serija i težine modela.
Radni procesi generiranja slika
Pokrećite složene difuzijske procese i istodobno držite više kontrolnih točaka u memoriji koristeći ComfyUI.
Računalni zadaci podatkovnih centara
Iskoristite oko 29.9 TFLOPS računalne snage u jednostrukoj preciznosti i oko 536 GB/s memorijske propusnosti za simulacije i renderiranje.
Je li to pravi GPU za vas?
Odaberite A40 ako Vaše radno opterećenje zahtijeva 45 GB VRAM-a na arhitekturi Ampere namijenjenoj podatkovnim centrima, što premašuje standardne kapacitete memorije potrošačkih grafičkih kartica. Odaberite manju potrošačku karticu ako Vaši modeli stanu u manje memorije ili prijeđite na GPU za podatkovne centre s većom propusnošću ako su Vaši poslovi treniranja znatno ograničeni propusnošću memorije.
Usporedite sa sličnim GPU-ovima
| GPU | VRAM po GPU-u | Arhitektura | FP32 računanje | Od / sat | Pojedinosti |
|---|---|---|---|---|---|
| A40 | 45 GB | Ampere | ≈ 29.9 TFLOPS | — | |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | Pojedinosti |
| RTX 3090 | 24 GB | Ampere | ≈ 35.4 TFLOPS | — | Pojedinosti |
| RTX 3090 Ti | 24 GB | Ampere | ≈ 36.4 TFLOPS | — | Pojedinosti |
Često postavljana pitanja
Je li NVIDIA A40 prikladna za inferenciju i dodatno treniranje LLM-ova?
Da, kapacitet od 45 GB VRAM-a čini A40 prikladnom za ugošćivanje srednjih i velikih jezičnih modela te za učinkovito dodatno treniranje parametara. Na usluzi ONIE možete izravno pokrenuti predloške vLLM, Ollama ili PyTorch/CUDA i odmah početi s radom.
Kako se A40 uspoređuje s manjim potrošačkim GPU-ovima ili većim GPU-ovima za podatkovne centre?
A40 nudi 45 GB VRAM-a, odnosno više memorijskog prostora nego standardni potrošački GPU-ovi za radna opterećenja ograničena memorijom. Međutim, njezina memorijska propusnost od oko 536 GB/s niža je nego kod GPU-ova višeg ranga za podatkovne centre koji koriste HBM memoriju.
Koja su softverska okruženja dostupna za A40 na usluzi ONIE?
A40 podržava računalnu sposobnost CUDA 8.6 i može se pokrenuti s gotovim predlošcima za PyTorch/CUDA, vLLM, Ollama i ComfyUI. Uključen je puni SSH pristup kako biste po potrebi mogli prilagoditi svoj softverski sustav.
Kako funkcionira naplata za instance A40?
ONIE naplaćuje sve najmove A40 po satu. Plaćate samo vrijeme tijekom kojeg je Vaša instanca aktivna, što je praktično i za kratke eksperimente i za dulja produkcijska pokretanja.
Iznajmite A40 po satu
Stvorite račun, odaberite konfiguraciju i povežite se putem SSH-a. Naplata prestaje kada izbrišete GPU.
Iznajmi A40