Pangisha GPU ya NVIDIA H200 NVL kwa saa
H200 NVL ni kichakataji cha GPU cha kituo cha data chenye usanifu wa Hopper, kilichoundwa kwa kazi zinazohitaji kumbukumbu nyingi. Kina VRAM ya GB 140 na kasi ya kumbukumbu ya takriban 3884 GB/s. Hufanya kazi kwa kiwango cha umeme cha 600 W, kinaunga mkono uwezo wa kompyuta 9.0, na hutoa takriban 48.3 TFLOPS za hesabu ya kawaida ya nambari za sehemu zinazoelea. Unaweza kusambaza kichakataji hiki kwenye ONIE ukiwa na malipo kwa saa, ufikiaji wa moja kwa moja wa SSH, na violezo vilivyo tayari.
Vipimo
VRAM kwa kila GPU
Usanifu
Uwezo wa kompyuta
Kukokotoa FP32
Bandwidth ya kumbukumbu
Kikomo cha nguvu
Thamani zilizotolewa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi hutofautiana kulingana na mashine.
Mipangilio inayopatikana
Hisa na bei za moja kwa moja, zinazosasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.
Inapakia bei za moja kwa moja…
Matumizi bora ya H200 NVL
Inference ya Miundo Mikubwa ya Lugha (LLM)
Endesha miundo mikubwa kwenye kumbukumbu bila kuigawanya, ukinufaika na uwezo wa VRAM wa GB 140 na kasi ya kumbukumbu ya takriban 3884 GB/s.
Fine-Tuning na Mafunzo ya Miundo
Funza na urekebishe miundo ya kujifunza kwa kina ukitumia uwezo wa kompyuta 9.0 wa Hopper na kumbukumbu kubwa ya GPU kwa batch kubwa.
Usindikaji wa Batch wa Kiwango cha Juu
Chakata seti kubwa za data na madirisha marefu ya muktadha kwa ufanisi, ukitumia violezo vilivyosanidiwa awali vya PyTorch/CUDA, vLLM, au Ollama.
Hesabu za Kisayansi na Uigaji
Endesha uigaji changamano wa kituo cha data unaohitaji takriban 48.3 TFLOPS za utendaji wa kawaida wa nambari za sehemu zinazoelea na kumbukumbu kubwa iliyopo kwenye kadi.
Je, ni GPU sahihi kwako?
Chagua H200 NVL pale kikwazo chako kikuu ni uwezo wa VRAM na kasi ya kumbukumbu, hasa kwa kuendesha miundo mikubwa kwenye kadi moja. Ukiwa unaendesha inference nyepesi, uzalishaji wa picha wa kawaida, au kazi za maendeleo zisizohitaji GB 140 za kumbukumbu, kompyuta ndogo ya kazi (workstation) au GPU ya kawaida ni chaguo la vitendo zaidi.
Linganisha na GPU zinazofanana
Maswali yanayoulizwa mara kwa mara
Kwa nini uchague H200 NVL badala ya GPU ya kawaida ya Hopper?
H200 NVL inatoa VRAM ya GB 140 na kasi ya kumbukumbu ya takriban 3884 GB/s, ambayo ni zaidi ya uwezo wa kumbukumbu na kasi ya kadi za awali za kizazi cha Hopper. Hii inaruhusu miundo mikubwa na madirisha marefu ya muktadha kutoshea kwenye GPU moja.
Je, H200 NVL inafaa kwa utoaji wa LLM kwa vLLM au Ollama?
Ndiyo. Bwawa la kumbukumbu la GB 140 na kasi kubwa ya kumbukumbu vinaifanya ifae kwa kutoa huduma za miundo mikubwa ya lugha. ONIE inatoa violezo vilivyo tayari vya vLLM na Ollama ili kukusaidia kuanza haraka.
Ni mazingira gani ya programu na njia gani za ufikiaji zinapatikana?
Kila instance inajumuisha ufikiaji kamili wa SSH kwa usanidi maalum. Unaweza pia kuzindua instances ukitumia violezo vilivyosakinishwa awali, ikiwa ni pamoja na PyTorch/CUDA, vLLM, Ollama, na ComfyUI.
Malipo yanafanyaje kazi kwa H200 NVL kwenye ONIE?
Instances hulipwa kwa msingi wa saa. Unalipa tu muda ambao instance yako ya H200 NVL iko hai.
Kodi H200 NVL kwa saa
Fungua akaunti, chagua mpangilio na uunganishe kupitia SSH. Malipo yanakoma unapofuta GPU.
Kodi H200 NVL