Üüri NVIDIA A100 PCIE GPU-d tunnipõhiselt
NVIDIA A100 PCIE on Ampere’i arhitektuuril põhinev andmekeskuse GPU, millel on 40 GB VRAM-i ja 250 W võimsuspiir. See pakub standardarvutuses ligikaudu 15,6 TFLOPS-i ujukomajõudlust ja umbes 1313 GB/s mäluribalaiust ning toetab CUDA arvutusvõimekust 8.0. ONIE võimaldab seda riistvara rentida tunnipõhise arvelduse, SSH-juurdepääsu ning PyTorchi/CUDA, vLLM-i, Ollama ja ComfyUI valmismallidega.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks A100 PCIE sobib
Suurte keelemudelite järeldamine
Kasutage keelemudelite teenindamiseks vLLM-i või Ollamat ning kasutage ära 40 GB VRAM-i ja umbes 1313 GB/s mäluribalaiust tokenite genereerimisel.
Süvaõppe peenhäälestus
Käivitage treeningu- ja peenhäälestustöid PyTorchis/CUDAs Ampere’i andmekeskuse arhitektuuril, mille arvutusvõimekus on 8.0.
Kõrge eraldusvõimega piltide genereerimine
Käivitage ComfyUI-s keerukaid difusioonitöövooge, mis vajavad rohkem mälu, kui tarbijatele mõeldud graafikakaardid pakuvad.
Teaduslik arvutus ja andmetöötlus
Töödelge mälumahukaid simulatsioone ja andmeanalüüsiülesandeid, kasutades umbes 15,6 TFLOPS-i arvutusjõudlust.
Kas see GPU sobib sulle?
Valige A100 PCIE 40 GB, kui teie töökoormus ületab tarbijatele mõeldud GPU-de mälupiiranguid ja vajab suure ribalaiusega andmekeskuse riistvara. Kergema järeldamise jaoks valige väiksem tarbijatele mõeldud GPU või suurema VRAM-iga andmekeskuse mudel, kui kvantimata mudelid või pakisuurused ületavad 40 GB.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| A100 PCIE | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | |
| A100 SXM4 | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
| Q RTX 8000 | 45 GB | Turing | ≈ 11.9 TFLOPS | — | Üksikasjad |
| A800 PCIE | 80 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas A100 PCIE sobib LLM-i järeldamiseks ja peenhäälestuseks?
Jah. Selle 40 GB VRAM ja umbes 1313 GB/s mäluribalaius sobivad hästi keskmiste ja suurte mudelite majutamiseks ning peenhäälestuseks, kui need tarbijatele mõeldud graafikakaartidele ei mahu. Eelseadistatud vLLM-i, Ollama või PyTorchi/CUDA mallide abil saate töökoormused kiiresti käivitada.
Kuidas võrdub 40 GB A100 PCIE teiste GPU-klassi mudelitega?
Andmekeskuse Ampere’i graafikakaardina pakub see tavalistest tööjaama- või tarbijatele mõeldud GPU-dest märkimisväärselt suuremat mäluribalaiust ja rohkem VRAM-i. Kui teie treeningu- või järeldustöövoog vajab veelgi rohkem mälu, kaaluge suuremat andmekeskuse GPU varianti.
Kuidas luua ühendus oma eksemplariga teenuses ONIE ja seda seadistada?
Iga rendiga kaasneb täielik SSH-juurdepääs otse käsurealt haldamiseks. Samuti saate eksemplari käivitada PyTorchi/CUDA, vLLM-i, Ollama või ComfyUI valmismalliga, et kohe tööle asuda.
Kuidas toimub A100 PCIE eest arveldamine?
Teenuses ONIE arveldatakse eksemplaride kasutuse eest tunni kaupa, nii et maksate ainult selle aja eest, mil teie andmekeskuse GPU on aktiivne.
Telli A100 PCIE tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli A100 PCIE