GPU Cloud · NVIDIA · Hopper

NVIDIA H100 SXM GPU മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക

Q: H100 SXM LLM ഫൈൻ-ട്യൂണിംഗിനും ഇൻഫറൻസിനും അനുയോജ്യമാണോ?

അതെ. 80 GB VRAM-ഉം ഏകദേശം 2869 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തും വലിയ ഭാഷാ മോഡലുകൾ സേവ് ചെയ്യുന്നതിനും ഫൈൻ-ട്യൂൺ ചെയ്യുന്നതിനും ഇതിനെ അനുയോജ്യമാക്കുന്നു. vLLM, Ollama, അല്ലെങ്കിൽ PyTorch/CUDA എന്നിവയ്ക്കുള്ള റെഡി ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ONIE-ൽ ഉടൻ ആരംഭിക്കാം.

NVIDIA H100 SXM ഒരു Hopper ആർക്കിടെക്ചർ ഡാറ്റാസെന്റർ GPU ആണ്. ഇതിൽ 80 GB VRAM ഉണ്ട്, 700 W പവർ എൻവലപ്പിലാണ് ഇത് പ്രവർത്തിക്കുന്നത്. ഏകദേശം 53.5 TFLOPS സാധാരണ ഫ്ലോട്ടിംഗ്-പോയിന്റ് കംപ്യൂട്ട് ഇത് നൽകുന്നു, ഏകദേശം 2869 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും ഉണ്ട്, CUDA compute capability 9.0 പിന്തുണയ്ക്കുന്നു. ONIE-ൽ പ്രതിമണിക്കൂർ ബില്ലിംഗ്, പൂർണ്ണ SSH ആക്സസ്, PyTorch/CUDA, vLLM, Ollama, ComfyUI എന്നിവയ്ക്കുള്ള റെഡി ടെംപ്ലേറ്റുകൾ എന്നിവയോടെ ഇത് വാടകയ്ക്കെടുക്കാം.

H100 SXM വാടകയ്ക്ക് എടുക്കുക

സ്പെസിഫിക്കേഷനുകൾ

ഓരോ GPU-ക്കും VRAM

80 GB

ആർക്കിടെക്ചർ

NVIDIA Hopper

കംപ്യൂട്ട് കപ്പാസിറ്റി

9.0

FP32 കംപ്യൂട്ട്

≈ 53.5 TFLOPS

മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്

≈ 2,869 GB/s

പവർ പരിധി

700 W

ഇപ്പോൾ ലിസ്റ്റ് ചെയ്തിരിക്കുന്ന മെഷീനുകൾക്കായി ഇൻഫ്രാസ്ട്രക്ചർ ദാതാവ് നൽകിയ മൂല്യങ്ങളാണിവ; യഥാർത്ഥ പ്രകടനം ഓരോ മെഷീനിലും വ്യത്യാസപ്പെടാം.

ലഭ്യമായ കോൺഫിഗറേഷനുകൾ

തത്സമയ സ്റ്റോക്കും വിലകളും തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് അന്തിമ വില സ്ഥിരീകരിക്കപ്പെടും.

തത്സമയ വിലകൾ ലോഡ് ചെയ്യുന്നു…

H100 SXM ഏതിനൊക്കെ അനുയോജ്യമാണ്

വലിയ ഭാഷാ മോഡൽ (LLM) ഇൻഫറൻസ്

80 GB VRAM ശേഷിയും ഏകദേശം 2869 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും ഉപയോഗിച്ച്, vLLM അല്ലെങ്കിൽ Ollama ടെംപ്ലേറ്റുകൾ വഴി ആവശ്യക്കാരേറിയ ഭാഷാ മോഡലുകൾ പ്രൊഡക്ഷനിൽ വിന്യസിക്കുക.

ഡീപ് ലേണിംഗ് ഫൈൻ-ട്യൂണിംഗ്

Hopper ആർക്കിടെക്ചറും CUDA compute capability 9.0 ഉം ഉപയോഗിച്ച്, മുൻകൂട്ടി ക്രമീകരിച്ച PyTorch/CUDA പരിസ്ഥിതികളിൽ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പരിശീലിപ്പിക്കുകയും ഫൈൻ-ട്യൂൺ ചെയ്യുകയും ചെയ്യുക.

ഉയർന്ന ത്രൂപുട്ട് ബാച്ച് പ്രോസസ്സിംഗ്

ഡാറ്റാ പ്രോസസ്സിംഗും സിമുലേഷൻ വർക്ക്‌ലോഡുകളും പ്രവർത്തിപ്പിക്കുക. 700 W ഡാറ്റാസെന്റർ ഫോം ഫാക്ടറിൽ ഏകദേശം 53.5 TFLOPS കംപ്യൂട്ട് പ്രകടനത്തിന്റെ പ്രയോജനം ഇവയ്ക്ക് ലഭിക്കും.

ഭാരമേറിയ ജനറേറ്റീവ് മീഡിയ വർക്ക്‌ഫ്ലോകൾ

80 GB മെമ്മറി പൂളിനുള്ളിൽ സൗകര്യമായി ഒതുങ്ങുന്ന വലിയ ബാച്ച് സൈസുകളോടെ സങ്കീർണ്ണമായ ComfyUI പൈപ്പ്‌ലൈനുകളും ഡിഫ്യൂഷൻ മോഡലുകളും പ്രവർത്തിപ്പിക്കുക.

ഇത് നിങ്ങൾക്ക് അനുയോജ്യമായ GPU ആണോ?

നിങ്ങളുടെ ട്രെയിനിംഗ് അല്ലെങ്കിൽ ഇൻഫറൻസ് വർക്ക്‌ലോഡുകൾക്ക് 80 GB ഹൈ-ബാൻഡ്‌വിഡ്ത്ത് ഡാറ്റാസെന്റർ മെമ്മറിയും Hopper ആർക്കിടെക്ചർ സവിശേഷതകളും ആവശ്യമുള്ളപ്പോൾ H100 SXM തിരഞ്ഞെടുക്കുക. ലഘുവായ വികസനത്തിനോ ചെറിയ മോഡലുകൾക്കോ ഒരു ചെറിയ വർക്ക്‌സ്റ്റേഷനോ കൺസ്യൂമർ GPU-യോ ആണ് കൂടുതൽ പ്രായോഗികം. ഒരൊറ്റ ഇൻസ്റ്റൻസിന് മുഴുവൻ മോഡലും 80 GB VRAM-ൽ ഉൾക്കൊള്ളാനാകില്ലെങ്കിൽ, പുതിയതോ ഉയർന്ന ശേഷിയുള്ളതോ ആയ ഡാറ്റാസെന്റർ GPU ആണ് അഭികാമ്യം.

സമാന GPU-കളുമായി താരതമ്യം ചെയ്യുക

GPU	ഓരോ GPU-ക്കും VRAM	ആർക്കിടെക്ചർ	FP32 കംപ്യൂട്ട്	മണിക്കൂറിന് മുതൽ	വിശദാംശങ്ങൾ
H100 SXM	80 GB	Hopper	≈ 53.5 TFLOPS	—
H100 NVL	94 GB	Hopper	≈ 48.3 TFLOPS	—	വിശദാംശങ്ങൾ
H100 PCIE	80 GB	Hopper	≈ 41 TFLOPS	—	വിശദാംശങ്ങൾ
RTX 6000D	84 GB	Blackwell	≈ 77.6 TFLOPS	—	വിശദാംശങ്ങൾ

പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ

H100 SXM LLM ഫൈൻ-ട്യൂണിംഗിനും ഇൻഫറൻസിനും അനുയോജ്യമാണോ?

അതെ. 80 GB VRAM-ഉം ഏകദേശം 2869 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും വലിയ ഭാഷാ മോഡലുകൾ സേവ് ചെയ്യുന്നതിനും ഫൈൻ-ട്യൂൺ ചെയ്യുന്നതിനും ഇതിനെ അനുയോജ്യമാക്കുന്നു. vLLM, Ollama, അല്ലെങ്കിൽ PyTorch/CUDA എന്നിവയ്ക്കുള്ള റെഡി ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ONIE-ൽ ഉടൻ ആരംഭിക്കാം.

SXM വേരിയന്റ് കുറഞ്ഞ പവർ ഉള്ള ഡാറ്റാസെന്റർ അല്ലെങ്കിൽ വർക്ക്‌സ്റ്റേഷൻ GPU-കളുമായി എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?

H100 SXM 700 W തെർമൽ ഡിസൈൻ പവറിൽ പ്രവർത്തിക്കുന്നു, അതിനാൽ PCIe ഡാറ്റാസെന്റർ വേരിയന്റുകളെക്കാളും വർക്ക്‌സ്റ്റേഷൻ കാർഡുകളെക്കാളും ഉയർന്ന കംപ്യൂട്ട് പ്രകടനവും മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും നിലനിർത്താൻ ഇതിന് കഴിയും. നിങ്ങളുടെ വർക്ക്‌ലോഡ് ഏകദേശം 53.5 TFLOPS കംപ്യൂട്ടിനെയോ 80 GB മെമ്മറിയെയോ പൂർണ്ണമായി ഉപയോഗിക്കുന്നില്ലെങ്കിൽ, ചെറിയ GPU മതിയാകും.

CUDA compute capability 9.0 ഏതൊക്കെ സോഫ്റ്റ്‌വെയർ അനുയോജ്യത നൽകുന്നു?

Compute capability 9.0 എന്നത് NVIDIA Hopper ആർക്കിടെക്ചർ നിർദ്ദേശങ്ങൾക്കും സവിശേഷതകൾക്കുമുള്ള ഹാർഡ്‌വെയർ പിന്തുണയെ സൂചിപ്പിക്കുന്നു. ഞങ്ങളുടെ മുൻകൂട്ടി ക്രമീകരിച്ച PyTorch/CUDA ടെംപ്ലേറ്റുകൾ മാനുവൽ ഡ്രൈവർ സെറ്റപ്പ് ഇല്ലാതെ ഈ ഹാർഡ്‌വെയർ ഉപയോഗിക്കാൻ തയ്യാറായി വരുന്നു.

ONIE-ൽ ബില്ലിംഗും ഇൻസ്റ്റൻസ് ആക്സസും എങ്ങനെ പ്രവർത്തിക്കുന്നു?

വാടക കാലയളവിലുടനീളം ഇൻസ്റ്റൻസുകൾ പ്രതിമണിക്കൂർ അടിസ്ഥാനത്തിൽ ബിൽ ചെയ്യപ്പെടുന്നു. വിന്യസിച്ചുകഴിഞ്ഞാൽ, SSH ആക്സസ് വഴി നിങ്ങളുടെ പരിസ്ഥിതിയുമായി നേരിട്ട് ബന്ധിപ്പിക്കാം, അല്ലെങ്കിൽ ComfyUI പോലുള്ള മുൻകൂട്ടി ഇൻസ്റ്റാൾ ചെയ്ത ടൂളുകളുമായി ഇടപഴകാം.

H100 SXM മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക

ഒരു അക്കൗണ്ട് സൃഷ്ടിക്കുക, കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കുക, SSH വഴി കണക്ട് ചെയ്യുക. GPU ഡിലീറ്റ് ചെയ്യുമ്പോൾ ബില്ലിംഗ് നിർത്തും.

H100 SXM വാടകയ്ക്ക് എടുക്കുക

എല്ലാ GPU-കളും →