Najemite GPU NVIDIA A40 na uro
NVIDIA A40 je podatkovniška GPU, zasnovana na arhitekturi Ampere, z računsko zmogljivostjo 8.6 in 45 GB VRAM. Na platformi ONIE zagotavlja približno 29.9 TFLOPS zmogljivosti pri enojni natančnosti in približno 536 GB/s pomnilniške pasovne širine pri porabi 300 W. Uporabljate jo lahko z obračunavanjem po urah, polnim dostopom SSH in pripravljenimi predlogami, vključno s PyTorch/CUDA, vLLM, Ollama in ComfyUI.
Specifikacije
VRAM na GPU
Arhitektura
Računska zmogljivost
Računska zmogljivost FP32
Pasovna širina pomnilnika
Omejitev moči
Vrednosti, ki jih za trenutno navedene stroje sporoča ponudnik infrastrukture; dejanska zmogljivost se razlikuje glede na stroj.
Razpoložljive konfiguracije
Zaloga in cene v živo, posodobljeni nenehno. Končna cena se potrdi, preden naročite.
Nalagam cene v živo…
Za kaj je A40 primeren
Sklepanje z velikimi jezikovnimi modeli
Zaženite modele, ki potrebujejo do 45 GB pomnilnika, z vnaprej konfiguriranimi predlogami vLLM ali Ollama.
Natančno prilagajanje modelov globokega učenja
Prilagajajte nevronske mreže v PyTorch/CUDA z dovolj VRAM za večje velikosti paketov in uteži.
Generativni slikovni poteki dela
Izvajajte kompleksne difuzijske cevovode in hkrati hranite več kontrolnih točk v pomnilniku s ComfyUI.
Računske naloge v podatkovnem centru
Za simulacije in upodabljanje izkoristite približno 29.9 TFLOPS računske zmogljivosti pri enojni natančnosti in približno 536 GB/s pomnilniške pasovne širine.
Ali je to pravi GPU za vas?
Izberite A40, če vaša delovna obremenitev zahteva 45 GB VRAM na podatkovniški arhitekturi Ampere, kar presega običajne zmogljivosti pomnilnika potrošniških kartic. Če se vaši modeli prilegajo v manj pomnilnika, izberite manjšo potrošniško kartico; če pa so vaša učna opravila močno omejena s prepustnostjo pomnilnika, izberite zmogljivejšo podatkovniško GPU z večjo pasovno širino.
Primerjajte s podobnimi GPU-ji
| GPU | VRAM na GPU | Arhitektura | Računska zmogljivost FP32 | Od / uro | Podrobnosti |
|---|---|---|---|---|---|
| A40 | 45 GB | Ampere | ≈ 29.9 TFLOPS | — | |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | Podrobnosti |
| RTX 3090 | 24 GB | Ampere | ≈ 35.4 TFLOPS | — | Podrobnosti |
| RTX 3090 Ti | 24 GB | Ampere | ≈ 36.4 TFLOPS | — | Podrobnosti |
Pogosta vprašanja
Ali je NVIDIA A40 primerna za sklepanje z LLM in natančno prilagajanje?
Da, 45 GB VRAM pomeni, da je A40 zelo primerna za gostovanje srednje velikih in velikih jezikovnih modelov ter za natančno prilagajanje z učinkovito uporabo parametrov. Na platformi ONIE lahko neposredno zaženete predloge vLLM, Ollama ali PyTorch/CUDA in takoj začnete z delom.
Kako se A40 primerja z manjšimi potrošniškimi GPU ali zmogljivejšimi podatkovniškimi GPU?
A40 ponuja 45 GB VRAM, kar zagotavlja več pomnilniške rezerve kot običajne potrošniške GPU za opravila, omejena s pomnilnikom. Njena pomnilniška pasovna širina, približno 536 GB/s, pa je nižja kot pri zmogljivejših podatkovniških GPU s pomnilnikom HBM.
Katera programska okolja so na voljo za A40 na platformi ONIE?
A40 podpira računsko zmogljivost CUDA 8.6 in jo lahko uporabite s pripravljenimi predlogami za PyTorch/CUDA, vLLM, Ollama in ComfyUI. Vključen je poln dostop SSH, zato lahko po potrebi prilagodite svoj programski sklad.
Kako poteka obračunavanje za instance A40?
Na platformi ONIE se vse najeme A40 obračunava po urah. Plačate samo za čas, ko je vaša instanca aktivna, zato je to praktična izbira tako za kratke preizkuse kot za daljša produkcijska opravila.
Najamite A40 po uri
Ustvarite račun, izberite konfiguracijo in se povežite prek SSH. Obračun se ustavi, ko izbrišete GPU.
Najamite A40