Üüri NVIDIA L40S GPU-d tunnipõhiselt
NVIDIA L40S on Ada Lovelace'i arhitektuuril põhinev andmekeskuse GPU, mida saab ONIE kaudu pilves rentida. Sellel on 45 GB VRAM-i, umbes 73.3 TFLOPS-i ühe täpsusega arvutusvõimsust ja umbes 626 GB/s mälu läbilaskevõimet 350 W võimsustarbe juures. CUDA arvutusvõimega 8.9 sobib see instants nõudlikuks AI treenimiseks, inferentsiks ja graafikatöödeks ning selle eest tasutakse tunnipõhiselt.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks L40S sobib
Suurte keelemudelite inferents
Käivitage kvanditud või täistäpsusega keelemudeleid valmis mallide, näiteks vLLM-i ja Ollama abil, kasutades 45 GB mälumahtu.
Pildigeneratsiooni töövood
Käivitage ComfyUI-s keerukaid difusioonitöövooge ja hulgigeneratsiooni ülesandeid, kasutades Ada Lovelace'i arhitektuuri.
Süvaõppe peenhäälestamine
Peenhäälestage närvivõrke ja LoRA adaptereid PyTorch/CUDA keskkondades, kasutades umbes 73.3 TFLOPS-i arvutusvõimsust.
Andmekeskuse graafika ja renderdamine
Tehke ilma graafilise kasutajaliideseta renderdus- ja simulatsiooniülesandeid, millele tuleb kasuks andmekeskuse GPU umbes 626 GB/s mälu läbilaskevõime.
Kas see GPU sobib sulle?
Valige L40S, kui teie töökoormus vajab 45 GB VRAM-i ja andmekeskuse töökindlust, mida tavalised tarbijakaardid ei paku. Kui teie mudelid vajavad vähem mälu, on väiksem tööjaama- või tarbija-GPU säästlikum valik. Väga suurte kvantimata baasmudelite jaoks sobib aga suurema mälumahuga andmekeskuse GPU.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| L40S | 45 GB | Ada Lovelace | ≈ 73.3 TFLOPS | — | |
| RTX PRO 5000 | 48 GB | Blackwell | ≈ 69.6 TFLOPS | — | Üksikasjad |
| RTX 6000Ada | 48 GB | Ada Lovelace | ≈ 81.4 TFLOPS | — | Üksikasjad |
| RTX 6000D | 84 GB | Blackwell | ≈ 77.6 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas NVIDIA L40S sobib LLM-i inferentsiks ja peenhäälestamiseks?
Jah. 45 GB VRAM-i ja CUDA arvutusvõimega 8.9 sobib L40S hästi keskmiste ja suurte keelemudelite käitamiseks ning parameetrisäästlikuks peenhäälestamiseks. Saate käivitada instantsi eelkonfigureeritud vLLM-i, Ollama või PyTorch/CUDA malliga.
Kuidas erineb L40S tarbija-GPU-dest ja suurematest andmekeskuse GPU-dest?
L40S-il on rohkem VRAM-i kui tavalistel Ada Lovelace'i arhitektuuriga tarbijakaartidel, nii et see mahutab suuremate mudelite kaalud ilma neid mujale laadimata. Selle mälu läbilaskevõime on siiski väiksem kui suure mälumahuga, üksnes arvutustööks mõeldud andmekeskuse GPU-del, mis sobivad paremini väga suurte mälumahust sõltuvate treeningülesannete jaoks.
Kuidas saan ONIE L40S-i instantsiga ühenduse luua ja seda seadistada?
Kohe pärast instantsi käivitumist saate oma keskkonnale täieliku SSH-juurdepääsu. Samuti saate valida valmis mallide seast PyTorch/CUDA, ComfyUI, vLLM-i või Ollama ja kohe tööd alustada.
Kuidas toimub L40S-i eest tasumine?
ONIE arvestab kõigi L40S-i rentide eest tasu tunnipõhiselt. Maksate ainult selle aja eest, mil instants on teile eraldatud.
Telli L40S tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli L40S