Pangisha GPU ya NVIDIA H100 NVL kwa saa
NVIDIA H100 NVL ni GPU ya datacenter yenye usanifu wa Hopper, ikiwa na VRAM ya GB 94 na compute capability 9.0. Inatoa takriban 48.3 TFLOPS za single-precision na kipimo data cha kumbukumbu cha takriban 3381 GB/s, ndani ya kiwango cha nguvu cha 400 W. Pangisha H100 NVL kwenye ONIE kwa malipo ya kila saa, ufikiaji wa SSH, na violezo vilivyo tayari vya PyTorch/CUDA, vLLM, Ollama, na ComfyUI.
Vipimo
VRAM kwa kila GPU
Usanifu
Uwezo wa kompyuta
Kukokotoa FP32
Bandwidth ya kumbukumbu
Kikomo cha nguvu
Thamani zilizotolewa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi hutofautiana kulingana na mashine.
Mipangilio inayopatikana
Hisa na bei za moja kwa moja, zinazosasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.
Inapakia bei za moja kwa moja…
Matumizi bora ya H100 NVL
Inference ya Modeli Kubwa za Lugha (LLM)
Tumia modeli kubwa za lugha kwa vLLM au Ollama ukitumia VRAM ya GB 94 na kipimo data cha kumbukumbu cha takriban 3381 GB/s kwa uzalishaji wa tokeni haraka.
Fine-Tuning ya Deep Learning
Funza na urekebishe mitandao ya neva kwenye PyTorch ukitumia vipengele vya usanifu wa Hopper na compute capability 9.0.
Utengenezaji wa Picha za Azimio la Juu
Endesha mtiririko changamano wa ComfyUI na mifumo mikubwa ya diffusion kwenye kumbukumbu bila kuhamishia data kwenye RAM ya mfumo.
Hesabu za Kisayansi na Uigaji
Endesha kazi zinazotumia kumbukumbu kwa wingi kwenye datacenter, zinazonufaika na takriban 48.3 TFLOPS za hesabu za single-precision.
Je, ni GPU sahihi kwako?
Chagua H100 NVL pale mzigo wako wa AI au wa hesabu unapohitaji kumbukumbu zaidi ya kadi za kawaida za datacenter, hadi GB 94 za VRAM. Kadi ndogo ya workstation au ya kompyuta ya kawaida inafaa zaidi kwa uendeshaji mwepesi na maendeleo, ilhali usanidi wa GPU nyingi au daraja kubwa zaidi la kumbukumbu linahitajika ikiwa modeli zako zinazidi GB 94.
Linganisha na GPU zinazofanana
Maswali yanayoulizwa mara kwa mara
Je, H100 NVL inafaa kwa inference ya LLM na fine-tuning?
Ndiyo, VRAM yake ya GB 94 na kipimo data cha kumbukumbu cha takriban 3381 GB/s vinaifanya ifae vizuri kwa kuendesha na kurekebisha modeli kubwa za lugha ambazo hazitoshi kwenye GPU ndogo za datacenter.
H100 NVL inalinganishwaje na matoleo ya kawaida ya H100?
H100 NVL ina VRAM iliyoongezwa ya GB 94 na kiwango cha nguvu cha 400 W, ikitoa nafasi ya ziada ya kumbukumbu ikilinganishwa na usanidi wa kawaida wa datacenter wa Hopper.
Ni violezo gani vya programu vinapatikana kwenye ONIE kwa GPU hii?
Unaweza kupangisha H100 NVL ukitumia violezo vilivyosanidiwa awali vya PyTorch/CUDA, vLLM, Ollama, na ComfyUI, vyote vikiunga mkono compute capability 9.0.
Malipo na ufikiaji hufanyaje kazi unapopangisha H100 NVL?
Mifano kwenye ONIE hutozwa kwa kila saa na hutoa ufikiaji wa moja kwa moja wa SSH, ili uweze kusimamia mazingira na mtiririko wako wa kazi mara moja.
Kodi H100 NVL kwa saa
Fungua akaunti, chagua mpangilio na uunganishe kupitia SSH. Malipo yanakoma unapofuta GPU.
Kodi H100 NVL