NVIDIA L4 GPU පැයට කුලියට ගන්න
NVIDIA L4 යනු Ada Lovelace ගෘහනිර්මාණයේ datacenter GPU එකක් වන අතර, එයට 22 GB VRAM සහ 72 W බල සීමාවක් ඇත. එය single-precision floating-point කාර්යසාධනය ආසන්න වශයෙන් 24.2 TFLOPS ද, memory bandwidth ආසන්න වශයෙන් 221 GB/s ද, CUDA compute capability 8.9 ද සපයයි. ONIE මත එය පැය අනුව බිල්කිරීම, සම්පූර්ණ SSH ප්‍රවේශය සහ PyTorch/CUDA, vLLM, Ollama, ComfyUI සඳහා සූදානම් templates සමඟ කුලියට ගන්න.
පිරිවිතර
GPU එකකට VRAM
ගෘහ නිර්මාණ ශිල්පය
ගණනය කිරීමේ හැකියාව (Compute capability)
FP32 ගණනය කිරීම
මතක Bandwidth
බල සීමාව
දැනට ලැයිස්තුගත කර ඇති යන්ත්‍ර සඳහා යටිතල පහසුකම් සපයන්නා විසින් වාර්තා කළ අගයන්; සැබෑ කාර්ය සාධනය යන්ත්‍රයෙන් යන්ත්‍රයට වෙනස් වේ.
ලබාගත හැකි වින්‍යාසයන්
සජීවී තොග සහ මිල, අඛණ්ඩව යාවත්කාලීන වේ. ඔබ ඇණවුම් කිරීමට පෙර අවසාන මිල තහවුරු කෙරේ.
සජීවී මිල ලබා ගනිමින්…
L4 කුමක් සඳහා හොඳද
LLM අනුමානය
vLLM හෝ Ollama සඳහා පූර්ව-වින්‍යාස කළ templates භාවිතා කරමින්, 22 GB VRAM බෆරය තුළ quantized හෝ කුඩා සිට මධ්යම ප්රමාණයේ භාෂා ආකෘති ධාවනය කරන්න.
රූප ජනන වැඩ ප්‍රවාහ
Ada Lovelace ගෘහනිර්මාණ විශේෂාංග භාවිතා කරමින්, 22 GB මතකය තුළ පහසුවෙන් ගැලපෙන ComfyUI pipelines යොදවන්න.
සැහැල්ලු Fine-Tuning
High-wattage datacenter කාඩ්පතක් අවශ්‍ය නොවී, PyTorch/CUDA පරිසරවල parameter-efficient fine-tuning සහ adapter training කාර්යයන් ක්‍රියාත්මක කරන්න.
කණ්ඩායම් මාධ්‍ය සහ දෘෂ්‍ය
72 W ලෙස ශ්‍රේණිගත කර ඇති datacenter GPU එකක computer vision inference සහ video වැඩ සකසන්න.
මෙය ඔබට සුදුසු GPU එකද?
ඔබට inference හෝ මධ්යම training වැඩ සඳහා 22 GB VRAM සහ Ada Lovelace compute capability 8.9 අවශ්‍ය නම් L4 තෝරන්න. ඔබගේ ආකෘති 22 GB ඉක්මවන්නේ නම් හෝ ආසන්න වශයෙන් 221 GB/s ට වඩා memory bandwidth අවශ්‍ය නම් විශාල datacenter GPU එකකට යන්න, හෝ මූලික සංවර්ධන කාර්යයන් සඳහා අඩු මතකයක් ඇති කුඩා කාඩ්පතක් තෝරන්න.
සමාන GPU සමඟ සසඳන්න
නිතර අසන ප්‍රශ්න
NVIDIA L4 LLM inference සඳහා සුදුසුද?
ඔව්, 22 GB VRAM මගින් කුඩා සහ මධ්යම ප්රමාණයේ භාෂා ආකෘති හෝ quantized weights සත්කාරක කිරීමට ඉඩ දෙයි. ONIE මත vLLM හෝ Ollama templates දියත් කර ආකෘති වහාම සේවා කිරීම ආරම්භ කළ හැක.
L4 විශාල datacenter GPU වලට සාපේක්ෂව කෙසේද?
L4 කාර්යක්ෂමතාව සඳහා නිර්මාණය කර ඇත: 72 W බල පරිභෝජනය, ආසන්න වශයෙන් 24.2 TFLOPS single-precision compute සහ ආසන්න වශයෙන් 221 GB/s memory bandwidth. විශාල datacenter GPU වලට බර training සඳහා වැඩි VRAM සහ ඉහළ memory bandwidth ඇත, L4 අඩු වියදම් inference සහ සැහැල්ලු වැඩ කෙරෙහි අවධානය යොමු කරයි.
ONIE හි L4 සඳහා ලබා ගත හැකි software templates මොනවාද?
PyTorch/CUDA, vLLM, Ollama සහ ComfyUI සඳහා සූදානම් templates භාවිතා කර L4 යොදවන්න. සියලුම instances වල SSH ප්‍රවේශය ඇතුළත් වන අතර, එමඟින් ඔබට software පරිසරය සහ CUDA compute capability 8.9 workflows අභිරුචිකරණය කළ හැක.
L4 instances සඳහා බිල්කිරීම කෙසේ ක්‍රියා කරයිද?
ONIE L4 instances සඳහා පැය අනුව බිල් කරයි. ඔබගේ instance සක්‍රීයව පවතින කාලය සඳහා පමණක් ගෙවන්න, එය කෙටි පරීක්ෂණ සහ දිගුකාලීන inference කාර්යයන් දෙකටම ප්‍රායෝගික වේ.
L4 පැයෙන් පැයට කුලියට ගන්න
ගිණුමක් සාදා, වින්‍යාසයක් තෝරා, SSH හරහා සම්බන්ධ වන්න. GPU මකා දැමූ විට බිල්ගත කිරීම නවතී.
L4 කුලියට ගන්න