NVIDIA H100 SXM GPU පැයට කුලියට ගන්න
NVIDIA H100 SXM යනු Hopper ගෘහ නිර්මාණ ශිල්පයට අයත් දත්ත මධ්යස්ථාන GPU එකකි. එහි 80 GB VRAM ඇති අතර 700 W බල සීමාවක් ඇත. එය සුමාරු TFLOPS 53.5 ක සාමාන්‍ය floating-point compute කාර්ය සාධනයක් ලබා දෙන අතර, සුමාරු GB/s 2869 ක මතක බැන්ඩ්විත් එකක් ඇත. එය CUDA compute capability 9.0 සඳහා සහාය දක්වයි. ONIE හි පැය අනුව බිල්කිරීම, සම්පූර්ණ SSH ප්‍රවේශය සහ PyTorch/CUDA, vLLM, Ollama සහ ComfyUI සඳහා සූදානම් සැකිලි සමඟ මෙය කුලියට ගන්න.
පිරිවිතර
GPU එකකට VRAM
ගෘහ නිර්මාණ ශිල්පය
ගණනය කිරීමේ හැකියාව (Compute capability)
FP32 ගණනය කිරීම
මතක Bandwidth
බල සීමාව
දැනට ලැයිස්තුගත කර ඇති යන්ත්‍ර සඳහා යටිතල පහසුකම් සපයන්නා විසින් වාර්තා කළ අගයන්; සැබෑ කාර්ය සාධනය යන්ත්‍රයෙන් යන්ත්‍රයට වෙනස් වේ.
ලබාගත හැකි වින්‍යාසයන්
සජීවී තොග සහ මිල, අඛණ්ඩව යාවත්කාලීන වේ. ඔබ ඇණවුම් කිරීමට පෙර අවසාන මිල තහවුරු කෙරේ.
සජීවී මිල ලබා ගනිමින්…
H100 SXM කුමක් සඳහා හොඳද
විශාල භාෂා ආකෘති (LLM) Inference
80 GB VRAM ධාරිතාව සහ සුමාරු GB/s 2869 ක මතක බැන්ඩ්විත් එක භාවිතා කර, vLLM හෝ Ollama සැකිලි හරහා ඉල්ලුම් ඉහළ භාෂා ආකෘති නිෂ්පාදනයට යොදන්න.
ගැඹුරු ඉගෙනුම් Fine-Tuning
Hopper ගෘහ නිර්මාණ ශිල්පය සහ CUDA compute capability 9.0 භාවිතා කර, පූර්ව-වින්‍යාස කළ PyTorch/CUDA පරිසර සමඟ ස්නායු ජාල පුහුණු කර fine-tune කරන්න.
ඉහළ ප්‍රවාහ Batch සැකසීම
700 W දත්ත මධ්යස්ථාන ආකෘතියේ සුමාරු TFLOPS 53.5 ක compute කාර්ය සාධනයෙන් ප්‍රයෝජන ගන්නා තීව්‍ර දත්ත සැකසුම් සහ simulation කාර්යභාරයන් ධාවනය කරන්න.
බර ජනක මාධ්‍ය කාර්ය ප්‍රවාහ
80 GB මතක පූලය තුළ පහසුවෙන් ගැළපෙන විශාල batch ප්‍රමාණ සහිත සංකීර්ණ ComfyUI pipeline සහ diffusion ආකෘති ක්‍රියාත්මක කරන්න.
මෙය ඔබට සුදුසු GPU එකද?
ඔබේ පුහුණු හෝ inference කාර්යභාරයන්ට high-bandwidth දත්ත මධ්යස්ථාන මතකයේ 80 GB සහ Hopper ගෘහ නිර්මාණ ශිල්ප විශේෂාංග අවශ්‍ය නම් H100 SXM තෝරන්න. සැහැල්ලු සංවර්ධනයකට හෝ කුඩා ආකෘතිවලට කුඩා workstation හෝ පාරිභෝගික GPU වඩාත් ප්‍රායෝගික තේරීමකි. තනි instance එකකට ඔබේ මුළු ආකෘතිය 80 GB VRAM තුළ රඳවා ගත නොහැකි නම්, නවතම හෝ ඉහළ ධාරිතාවේ දත්ත මධ්යස්ථාන GPU එකක් වඩාත් සුදුසුය.
සමාන GPU සමඟ සසඳන්න
නිතර අසන ප්‍රශ්න
H100 SXM LLM fine-tuning සහ inference සඳහා සුදුසුද?
ඔව්, එහි 80 GB VRAM සහ සුමාරු GB/s 2869 ක මතක බැන්ඩ්විත් එක විශාල භාෂා ආකෘති සේවා කිරීමට සහ fine-tune කිරීමට දෙකටම හොඳින් ගැලපේ. vLLM, Ollama, හෝ PyTorch/CUDA සඳහා සූදානම් සැකිලි භාවිතා කර ONIE හි වහාම ආරම්භ කළ හැක.
SXM ප්රභේදය අඩු බල දත්ත මධ්යස්ථාන හෝ workstation GPU වලට සාපේක්ෂව කෙසේද?
H100 SXM 700 W තාප සැලසුම් බලයෙන් ක්රියා කරන අතර, PCIe දත්ත මධ්යස්ථාන ප්රභේද හෝ workstation කාඩ් වලට වඩා ඉහළ compute කාර්ය සාධනයක් සහ මතක බැන්ඩ්විත් එකක් පවත්වා ගැනීමට ඉඩ සලසයි. ඔබේ කාර්යභාරය සුමාරු TFLOPS 53.5 ක compute හෝ 80 GB ක මතකය සම්පූර්ණයෙන් භාවිතා නොකරන්නේ නම්, කුඩා GPU එකක් ප්රමාණවත් විය හැක.
CUDA compute capability 9.0 මගින් කුමන මෘදුකාංග අනුකූලතාවය ලබා දේද?
Compute capability 9.0 මගින් NVIDIA Hopper ගෘහ නිර්මාණ ශිල්ප උපදෙස් සහ විශේෂාංග සඳහා දෘඪාංග සහාය දැක්වෙන බව පෙන්වයි. අපගේ පූර්ව-වින්‍යාස කළ PyTorch/CUDA සැකිලි, අතින් driver සැකසීමකින් තොරව මෙම දෘඪාංගය භාවිතා කිරීමට සූදානම්ව පැමිණේ.
ONIE හි බිල්කිරීම සහ instance ප්‍රවේශය ක්රියා කරන්නේ කෙසේද?
Instance කුලියට ගත් කාලය සඳහා පැය අනුව බිල්කරනු ලැබේ. යෙදවූ පසු, SSH ප්‍රවේශය හරහා ඔබේ පරිසරයට සෘජුවම සම්බන්ධ විය හැක, හෝ ComfyUI වැනි පූර්ව-ස්ථාපිත මෙවලම් සමඟ අන්තර්ක්‍රියා කළ හැක.
H100 SXM පැයෙන් පැයට කුලියට ගන්න
ගිණුමක් සාදා, වින්‍යාසයක් තෝරා, SSH හරහා සම්බන්ධ වන්න. GPU මකා දැමූ විට බිල්ගත කිරීම නවතී.
H100 SXM කුලියට ගන්න