Üüri NVIDIA L4 GPU-d tunnipõhiselt
NVIDIA L4 on Ada Lovelace’i arhitektuuril põhinev andmekeskuse GPU, millel on 22 GB VRAM-i ja 72 W võimsuspiirang. Selle ühekordse täpsusega ujukomaarvutuste jõudlus on umbes 24.2 TFLOPS ja mäluribalaius umbes 221 GB/s; CUDA arvutusvõime on 8.9. Rentige see ONIEi kaudu tunnipõhise arvelduse, täieliku SSH-juurdepääsu ning PyTorch/CUDA, vLLM, Ollama ja ComfyUI valmismallidega.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks L4 sobib
Keelemudelite inferents
Käivitage 22 GB VRAM-is kvanditud või väikese ja keskmise suurusega keelemudeleid, kasutades eelseadistatud vLLM-i või Ollama malle.
Pildigeneratsiooni töövood
Võtke kasutusele ComfyUI töövood, mis mahuvad 22 GB mällu ja kasutavad Ada Lovelace’i arhitektuuri võimalusi.
Kerge peenhäälestus
Tehke PyTorch/CUDA keskkondades parameetrisäästlikku peenhäälestust ja treenige adaptereid, ilma et vajaksite suure võimsustarbega andmekeskuse GPU-d.
Meedia ja pildianalüüsi partiitöötlus
Töödelge arvutinägemise inferentsi- ja videokoormusi 72 W võimsuspiiranguga andmekeskuse GPU-l.
Kas see GPU sobib sulle?
Valige L4, kui vajate inferentsiks või mõõduka mahuga treenimiseks 22 GB VRAM-i ja Ada Lovelace’i CUDA arvutusvõimet 8.9. Kui teie mudelid ületavad 22 GB või vajavad rohkem kui umbes 221 GB/s mäluribalaiust, valige suurem andmekeskuse GPU. Vähem mälu nõudvate põhiliste arendusülesannete jaoks sobib väiksem kaart.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| L4 | 22 GB | Ada Lovelace | ≈ 24.2 TFLOPS | — | |
| RTX 5060 Ti | 16 GB | Blackwell | ≈ 22.8 TFLOPS | — | Üksikasjad |
| RTX 4060 Ti | 16 GB | Ada Lovelace | ≈ 21.6 TFLOPS | — | Üksikasjad |
| RTX A4000 | 16 GB | Ampere | ≈ 20.6 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas NVIDIA L4 sobib LLM-i inferentsiks?
Jah, 22 GB VRAM-i võimaldab käitada väikeseid ja keskmise suurusega keelemudeleid või kvanditud mudelikaale. ONIEi vLLM-i või Ollama mallidega saate mudelite teenindamist kohe alustada.
Kuidas võrdub L4 suuremate andmekeskuse GPU-dega?
L4 on loodud tõhusust silmas pidades: selle võimsustarve on 72 W, ühekordse täpsusega arvutusjõudlus umbes 24.2 TFLOPS ja mäluribalaius umbes 221 GB/s. Suuremad andmekeskuse GPU-d pakuvad mahukaks treenimiseks rohkem VRAM-i ja suuremat mäluribalaiust, L4 aga keskendub kulutõhusale inferentsile ja kergematele töökoormustele.
Millised tarkvaramallid on ONIEis L4 jaoks saadaval?
Saate võtta L4 kasutusele PyTorch/CUDA, vLLM-i, Ollama ja ComfyUI valmismallidega. Kõigil instantsidel on SSH-juurdepääs, et saaksite kohandada oma tarkvarakeskkonda ja CUDA arvutusvõimel 8.9 põhinevaid töövooge.
Kuidas toimub L4 instantside eest arveldamine?
ONIE arveldab L4 instantside eest tunnipõhiselt. Maksate ainult aja eest, mil teie instants on aktiivne, seega sobib see nii lühikesteks katsetusteks kui ka pidevateks inferentsiülesanneteks.
Telli L4 tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli L4