NVIDIA H200 NVL GPU മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
NVIDIA H200 NVL ഒരു Hopper ആർക്കിടെക്ചർ ഡാറ്റാ സെന്റർ GPU ആണ്, മെമ്മറി-തീവ്രമായ വർക്ക്‌ലോഡുകൾക്കായി നിർമ്മിച്ചത്. ഇതിൽ 140 GB VRAM ഉം ഏകദേശം 3884 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തും ലഭ്യമാണ്. ഇത് 600 W പവർ എൻവലപ്പിൽ പ്രവർത്തിക്കുന്നു, compute capability 9.0 പിന്തുണയ്ക്കുന്നു, ഏകദേശം 48.3 TFLOPS സ്റ്റാൻഡേർഡ് ഫ്ലോട്ടിംഗ്-പോയിന്റ് കമ്പ്യൂട്ട് നൽകുന്നു. ONIE-ൽ ഈ പ്രോസസ്സർ മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗ്, നേരിട്ടുള്ള SSH ആക്സസ്, തയ്യാറായ ടെംപ്ലേറ്റുകൾ എന്നിവയോടെ വിന്യസിക്കാം.
സ്പെസിഫിക്കേഷനുകൾ
ഓരോ GPU-ക്കും VRAM
ആർക്കിടെക്ചർ
കംപ്യൂട്ട് കപ്പാസിറ്റി
FP32 കംപ്യൂട്ട്
മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്
പവർ പരിധി
ഇപ്പോൾ ലിസ്റ്റ് ചെയ്തിരിക്കുന്ന മെഷീനുകൾക്കായി ഇൻഫ്രാസ്ട്രക്ചർ ദാതാവ് നൽകിയ മൂല്യങ്ങളാണിവ; യഥാർത്ഥ പ്രകടനം ഓരോ മെഷീനിലും വ്യത്യാസപ്പെടാം.
ലഭ്യമായ കോൺഫിഗറേഷനുകൾ
തത്സമയ സ്റ്റോക്കും വിലകളും തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് അന്തിമ വില സ്ഥിരീകരിക്കപ്പെടും.
തത്സമയ വിലകൾ ലോഡ് ചെയ്യുന്നു…
H200 NVL ഏതിനൊക്കെ അനുയോജ്യമാണ്
വലിയ ഭാഷാ മോഡൽ (LLM) ഇൻഫെറൻസ്
140 GB VRAM ശേഷിയും ഏകദേശം 3884 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തും പ്രയോജനപ്പെടുത്തി, ഷാർഡിംഗ് ഇല്ലാതെ വലിയ മോഡലുകൾ മെമ്മറിയിൽ പ്രവർത്തിപ്പിക്കുക.
മോഡൽ ഫൈൻ-ട്യൂണിംഗും ട്രെയിനിംഗും
Hopper compute capability 9.0 ഉം വലിയ batch size-കൾക്കായി വിശാലമായ GPU മെമ്മറിയും ഉപയോഗിച്ച് ഡീപ് ലേണിംഗ് മോഡലുകൾ പരിശീലിപ്പിക്കുകയും ക്രമീകരിക്കുകയും ചെയ്യുക.
ഉയർന്ന ത്രൂപുട്ട് ബാച്ച് പ്രോസസ്സിംഗ്
PyTorch/CUDA, vLLM, അല്ലെങ്കിൽ Ollama എന്നിവയുടെ മുൻകൂട്ടി ക്രമീകരിച്ച ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് വലിയ ഡാറ്റാസെറ്റുകളും ദീർഘ context windows-ഉം കാര്യക്ഷമമായി പ്രോസസ്സ് ചെയ്യുക.
ശാസ്ത്രീയ കമ്പ്യൂട്ടിംഗും സിമുലേഷനും
ഏകദേശം 48.3 TFLOPS സ്റ്റാൻഡേർഡ് ഫ്ലോട്ടിംഗ്-പോയിന്റ് പ്രകടനവും വലിയ ഓൺബോർഡ് മെമ്മറിയും ആവശ്യമുള്ള സങ്കീർണ്ണമായ ഡാറ്റാ സെന്റർ സിമുലേഷനുകൾ നടത്തുക.
ഇത് നിങ്ങൾക്ക് അനുയോജ്യമായ GPU ആണോ?
പ്രധാന തടസ്സം VRAM ശേഷിയും മെമ്മറി ബാൻഡ്വിഡ്ത്തും ആകുമ്പോൾ, പ്രത്യേകിച്ച് ഒരൊറ്റ കാർഡിൽ വലിയ മോഡലുകൾ ഹോസ്റ്റ് ചെയ്യാൻ H200 NVL തിരഞ്ഞെടുക്കുക. 140 GB മെമ്മറി ആവശ്യമില്ലാത്ത ലഘു inference, സാധാരണ ഇമേജ് ജനറേഷൻ, അല്ലെങ്കിൽ ഡെവലപ്മെന്റ് ജോലികൾ എന്നിവയ്ക്ക് ചെറിയ വർക്ക്സ്റ്റേഷൻ അല്ലെങ്കിൽ കൺസ്യൂമർ GPU കൂടുതൽ പ്രായോഗിക തിരഞ്ഞെടുപ്പാണ്.
സമാന GPU-കളുമായി താരതമ്യം ചെയ്യുക
| GPU | ഓരോ GPU-ക്കും VRAM | ആർക്കിടെക്ചർ | FP32 കംപ്യൂട്ട് | മണിക്കൂറിന് മുതൽ | വിശദാംശങ്ങൾ |
|---|---|---|---|---|---|
| H200 NVL | 140 GB | Hopper | ≈ 48.3 TFLOPS | — | |
| H100 NVL | 94 GB | Hopper | ≈ 48.3 TFLOPS | — | വിശദാംശങ്ങൾ |
| H100 SXM | 80 GB | Hopper | ≈ 53.5 TFLOPS | — | വിശദാംശങ്ങൾ |
| H100 PCIE | 80 GB | Hopper | ≈ 41 TFLOPS | — | വിശദാംശങ്ങൾ |
പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
എന്തുകൊണ്ട് സാധാരണ Hopper GPU-യ്ക്ക് പകരം H200 NVL തിരഞ്ഞെടുക്കണം?
H200 NVL 140 GB VRAM ഉം ഏകദേശം 3884 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തും നൽകുന്നു, ഇത് മുൻ തലമുറയിലെ Hopper കാർഡുകളെക്കാൾ ഉയർന്നതാണ്. ഇതിലൂടെ വലിയ മോഡലുകളും context windows-ഉം ഒരൊറ്റ GPU-യിൽ ഉൾക്കൊള്ളിക്കാൻ കഴിയും.
LLM സർവിംഗിന് vLLM അല്ലെങ്കിൽ Ollama ഉപയോഗിച്ച് H200 NVL അനുയോജ്യമാണോ?
അതെ, 140 GB മെമ്മറി പൂളും ഉയർന്ന മെമ്മറി ബാൻഡ്വിഡ്ത്തും വലിയ ഭാഷാ മോഡലുകൾ സർവ് ചെയ്യാൻ ഇതിനെ അനുയോജ്യമാക്കുന്നു. വേഗത്തിൽ ആരംഭിക്കാൻ ONIE vLLM, Ollama എന്നിവയ്ക്കായി തയ്യാറായ ടെംപ്ലേറ്റുകൾ നൽകുന്നു.
ഏതൊക്കെ സോഫ്റ്റ്‌വെയർ പരിസ്ഥിതികളും ആക്സസ് രീതികളും ലഭ്യമാണ്?
ഓരോ ഇൻസ്റ്റൻസിലും ഇഷ്ടാനുസൃത കോൺഫിഗറേഷനായി പൂർണ്ണ SSH ആക്സസ് ഉൾപ്പെടുന്നു. PyTorch/CUDA, vLLM, Ollama, ComfyUI എന്നിവ ഉൾപ്പെടെ മുൻകൂട്ടി ഇൻസ്റ്റാൾ ചെയ്ത ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ഇൻസ്റ്റൻസുകൾ ആരംഭിക്കാനും കഴിയും.
ONIE-ൽ H200 NVL-ന്റെ ബില്ലിംഗ് എങ്ങനെ പ്രവർത്തിക്കുന്നു?
ഇൻസ്റ്റൻസുകൾക്ക് മണിക്കൂർ അടിസ്ഥാനത്തിലാണ് ബില്ലിംഗ്. നിങ്ങളുടെ H200 NVL ഇൻസ്റ്റൻസ് സജീവമായിരിക്കുന്ന സമയത്ത് മാത്രമേ പണം നൽകേണ്ടതുള്ളൂ.
H200 NVL മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
ഒരു അക്കൗണ്ട് സൃഷ്ടിക്കുക, കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കുക, SSH വഴി കണക്ട് ചെയ്യുക. GPU ഡിലീറ്റ് ചെയ്യുമ്പോൾ ബില്ലിംഗ് നിർത്തും.
H200 NVL വാടകയ്ക്ക് എടുക്കുക