Üüri NVIDIA A40 GPU-d tunnipõhiselt
NVIDIA A40 on Ampere'i arhitektuuril põhinev andmekeskuse GPU, mille arvutusvõimekus on 8.6 ja VRAM-i maht 45 GB. Teenuses ONIE pakub see umbes 29.9 TFLOPS-i ühe täpsusega arvutusjõudlust ja umbes 536 GB/s mäluribalaiust 300 W võimsustarbega. Saate selle kasutusele võtta tunnipõhise arvelduse, täieliku SSH-juurdepääsu ja valmis mallidega, sealhulgas PyTorch/CUDA, vLLM, Ollama ja ComfyUI.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks A40 sobib
Suurte keelemudelite järeldamine
Käivitage kuni 45 GB mälu vajavaid mudeleid eelkonfigureeritud vLLM- või Ollama-mallide abil.
Süvaõppe peenhäälestus
Häälestage närvivõrke PyTorch/CUDA abil, kasutades suuremate partiide ja kaalude jaoks piisavat VRAM-i mahtu.
Generatiivse pildiloome töövood
Käivitage ComfyUI abil keerukaid difusioonitöövooge ja hoidke mälus korraga mitut kontrollpunkti.
Andmekeskuse arvutusülesanded
Kasutage simulatsiooni- ja renderdustöödeks umbes 29.9 TFLOPS-i ühe täpsusega arvutusjõudlust ning umbes 536 GB/s mäluribalaiust.
Kas see GPU sobib sulle?
Valige A40, kui teie töökoormus vajab andmekeskuse Ampere'i arhitektuuril 45 GB VRAM-i, mis ületab tavaliste tarbijatele mõeldud kaartide mälumahu. Kui teie mudelid mahuvad väiksemasse mällu, valige väiksem tarbijakaart. Kui mäluläbilase piirab oluliselt treeningtööde kiirust, kaaluge suurema ribalaiusega andmekeskuse GPU-d.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| A40 | 45 GB | Ampere | ≈ 29.9 TFLOPS | — | |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | Üksikasjad |
| RTX 3090 | 24 GB | Ampere | ≈ 35.4 TFLOPS | — | Üksikasjad |
| RTX 3090 Ti | 24 GB | Ampere | ≈ 36.4 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas NVIDIA A40 sobib LLM-ide järeldamiseks ja peenhäälestuseks?
Jah, A40 45 GB VRAM-i maht sobib hästi keskmise suurusega ja suurte keelemudelite majutamiseks ning parameetritõhusaks peenhäälestuseks. Saate käivitada vLLM-i, Ollama või PyTorch/CUDA mallid otse teenuses ONIE ja kohe tööle asuda.
Kuidas A40 võrdub väiksemate tarbijatele mõeldud GPU-de või suuremate andmekeskuse GPU-dega?
A40 pakub 45 GB VRAM-i, mis annab mälumahust sõltuvate töökoormuste jaoks rohkem ruumi kui tavalised tarbijatele mõeldud GPU-d. Selle mäluribalaius, umbes 536 GB/s, on aga väiksem kui kõrgema klassi HBM-mäluga andmekeskuse GPU-del.
Millised tarkvarakeskkonnad on A40 jaoks teenuses ONIE saadaval?
A40 toetab CUDA arvutusvõimekust 8.6 ning selle saab kasutusele võtta PyTorch/CUDA, vLLM-i, Ollama ja ComfyUI valmis mallidega. Kaasas on täielik SSH-juurdepääs, et saaksite tarkvarakeskkonda vajaduse järgi kohandada.
Kuidas A40 eksemplaride eest arveldatakse?
ONIE kasutab kõigi A40 renditeenuste puhul tunnipõhist arveldust. Maksate ainult aja eest, mil teie eksemplar on aktiivne, mistõttu sobib see nii lühikesteks katseteks kui ka pikemateks tootmiskäivitusteks.
Telli A40 tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli A40