Īrējiet NVIDIA L4 GPU pa stundām
NVIDIA L4 ir Ada Lovelace arhitektūras datu centru GPU ar 22 GB VRAM un 72 W jaudas patēriņu. Tas nodrošina aptuveni 24.2 TFLOPS vienas precizitātes peldošā komata veiktspēju un aptuveni 221 GB/s atmiņas joslas platumu, kā arī CUDA skaitļošanas iespēju 8.9. Nomājiet to vietnē ONIE ar stundas norēķiniem, pilnu SSH piekļuvi un gatavām veidnēm PyTorch/CUDA, vLLM, Ollama un ComfyUI.
Specifikācijas
VRAM katram GPU
Arhitektūra
Skaitļošanas spēja
FP32 skaitļošana
Atmiņas joslas platums
Jaudas ierobežojums
Vērtības, ko par pašlaik piedāvātajiem serveriem norādījis infrastruktūras nodrošinātājs; reālā veiktspēja dažādos serveros var atšķirties.
Pieejamās konfigurācijas
Aktuālie krājumi un cenas, kas tiek atjaunotas nepārtraukti. Galīgā cena tiek apstiprināta pirms pasūtīšanas.
Ielādē aktuālās cenas…
Kam ir piemērots L4
Valodas modeļu inferēšana
Palaidiet kvantizētus vai mazus un vidēja izmēra valodas modeļus 22 GB VRAM atmiņā, izmantojot iepriekš konfigurētas vLLM vai Ollama veidnes.
Attēlu ģenerēšanas darbplūsmas
Izvietojiet ComfyUI konveijerus, kas ērti ietilpst 22 GB atmiņā, izmantojot Ada Lovelace arhitektūras iespējas.
Vieglāka precīzā pielāgošana
Veiciet parametru ziņā efektīvu precīzo pielāgošanu un adapteru apmācību PyTorch/CUDA vidēs, neizmantojot datu centru karti ar lielu jaudas patēriņu.
Multivides un attēlu pakešapstrāde
Veiciet datorredzes inferēšanu un video apstrādes uzdevumus datu centru GPU ar 72 W jaudas patēriņu.
Vai tas ir piemērots GPU Jums?
Izvēlieties L4, ja inferēšanai vai vidējas intensitātes apmācības uzdevumiem nepieciešama 22 GB VRAM atmiņa un Ada Lovelace skaitļošanas iespēja 8.9. Izvēlieties jaudīgāku datu centru GPU, ja modeļiem vajag vairāk nekā 22 GB atmiņas vai lielāku atmiņas joslas platumu par aptuveni 221 GB/s, vai arī mazāku karti pamata izstrādes uzdevumiem, kam nepieciešams mazāk atmiņas.
Salīdzināt ar līdzīgiem GPU
Biežāk uzdotie jautājumi
Vai NVIDIA L4 ir piemērota LLM inferēšanai?
Jā, 22 GB VRAM ļauj darbināt mazus un vidēja izmēra valodas modeļus vai kvantizētus svarus. Vietnē ONIE varat palaist vLLM vai Ollama veidnes un uzreiz sākt modeļu apkalpošanu.
Kā L4 salīdzināma ar jaudīgākiem datu centru GPU?
L4 ir izstrādāta efektīvai darbībai: tās jaudas patēriņš ir 72 W, vienas precizitātes skaitļošanas veiktspēja — aptuveni 24.2 TFLOPS, bet atmiņas joslas platums — aptuveni 221 GB/s. Jaudīgāki datu centru GPU piedāvā vairāk VRAM un lielāku atmiņas joslas platumu intensīviem apmācības uzdevumiem, savukārt L4 ir paredzēta izmaksu ziņā efektīvai inferēšanai un vieglākiem uzdevumiem.
Kādas programmatūras veidnes L4 pieejamas vietnē ONIE?
L4 varat izvietot, izmantojot gatavas PyTorch/CUDA, vLLM, Ollama un ComfyUI veidnes. Visos instanču variantos ir SSH piekļuve, lai varētu pielāgot programmatūras vidi un CUDA skaitļošanas iespējas 8.9 darbplūsmas.
Kā tiek aprēķināta maksa par L4 instancēm?
ONIE aprēķina maksu par L4 instancēm pa stundām. Jūs maksājat tikai par laiku, kamēr instance ir aktīva, tāpēc tā ir piemērota gan īsiem eksperimentiem, gan ilgstošiem inferēšanas uzdevumiem.
Nomājiet L4 pa stundām
Izveidojiet kontu, izvēlieties konfigurāciju un pieslēdzieties caur SSH. Norēķini tiek pārtraukti, kad dzēšat GPU.
Nomāt L4