Üüri NVIDIA A100 SXM4 GPU-d tunnipõhiselt
NVIDIA A100 SXM4 on Ampere’i arhitektuuriga andmekeskuse GPU, millel on 40 GB VRAM-i ja 400 W võimsuspiir. See pakub umbes 1313 GB/s mälu läbilaskevõimet ja umbes 15.6 TFLOPS-i ühe täpsusega arvutusjõudlust arvutusvõimekuse 8.0 juures. Rentige see saidilt ONIE tunnihinnaga, kasutage otsest SSH-juurdepääsu ja valmismalle, sealhulgas PyTorch/CUDA, vLLM, Ollama ja ComfyUI.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks A100 SXM4 sobib
LLM-i järeldamine ja teenindamine
Käivitage 40 GB VRAM-i mahtuvaid keelemudeleid, kasutades suure mälu läbilaskevõimega eelseadistatud vLLM-i või Ollama malle.
Süvaõppe treenimine
Treenige ja peenhäälestage närvivõrke PyTorch/CUDA abil Ampere’i arhitektuuriga andmekeskuses, mille mälu läbilaskevõime on umbes 1313 GB/s.
Piltide pakettsüntees
Looge suure eraldusvõimega difusioonväljundeid ja käitage keerukaid töövooge ComfyUI-s, ületamata tarbijaklassi GPU-de mälupiire.
Teadusarvutused
Käivitage mälumahukaid simulatsioone ja andmetöötluse töökoormusi, mis saavad kasu arvutusvõimekusest 8.0 ja SXM4 vormiteguri võimsuspiiridest.
Kas see GPU sobib sulle?
Valige 40 GB A100 SXM4, kui treenimise või järeldamise töökoormus ületab tarbijaklassi GPU mälupiire ja vajab andmekeskuse mälu läbilaskevõimet. Valige suurema VRAM-iga andmekeskuse GPU, kui kvantimata mudelid ületavad 40 GB, või kergema järeldamise ja arenduse jaoks väiksem tööjaama- või tarbijaklassi kaart.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| A100 SXM4 | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | |
| A100 PCIE | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
| Q RTX 8000 | 45 GB | Turing | ≈ 11.9 TFLOPS | — | Üksikasjad |
| A800 PCIE | 80 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas 40 GB A100 SXM4 sobib LLM-i järeldamiseks ja peenhäälestamiseks?
Jah, selle 40 GB VRAM ja umbes 1313 GB/s mälu läbilaskevõime sobivad hästi keskmise suurusega keelemudelite teenindamiseks ja parameetritõhusaks peenhäälestamiseks. Saate mudelid kiiresti juurutada kaasasolevate vLLM-i, Ollama või PyTorch/CUDA mallide abil.
Kuidas võrreldes teiste andmekeskuse GPU-dega see 40 GB SXM4 mudel toimib?
SXM4 variandi soojuslik võimsus on 400 W ning see pakub Ampere’i arhitektuuril ja arvutusvõimekusel 8.0 põhinevat püsivat andmekeskuse jõudlust. Kui töökoormus vajab mudeli tükeldamise vältimiseks üle 40 GB mälu, kaaluge suurema mahutavusega Ampere’i või uuema põlvkonna andmekeskuse GPU-d.
Kuidas arvestatakse A100 SXM4 kasutamise eest tasu saidil ONIE?
Aktiivse rendiperioodi ajal arvestatakse eksemplari kasutustasu tunni kaupa. Nii saate käivitada mahukaid treenimis- või pakettjäreldamise töid ning lõpetada eksemplari kasutamise, kui töö on valmis.
Kuidas luua ühendus A100 SXM4 eksemplariga ja see seadistada?
Saate masinale otsese SSH-juurdepääsu ning valmismallid PyTorch/CUDA, vLLM-i, Ollama ja ComfyUI jaoks. Töö kohe alustamiseks valige käivitamisel lihtsalt eelistatud mall.
Telli A100 SXM4 tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli A100 SXM4