NVIDIA H100 PCIE GPU മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
NVIDIA H100 PCIE ഒരു Hopper ആർക്കിടെക്ചർ ഡാറ്റാസെന്റർ GPU ആണ്, ആവശ്യകതയേറിയ ഡീപ് ലേണിംഗ്, ശാസ്ത്രീയ കമ്പ്യൂട്ടിംഗ് ജോലികൾക്കായി നിർമ്മിച്ചത്. ഇതിന് 80 GB VRAM, ഏകദേശം 1760 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്, 350 W പവർ പരിധിയിൽ ഏകദേശം 41.0 TFLOPS സ്റ്റാൻഡേർഡ് ഫ്ലോട്ടിംഗ്-പോയിന്റ് കമ്പ്യൂട്ട് എന്നിവ ലഭ്യമാണ്. ONIE-ൽ, മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗും പൂർണ്ണ SSH ആക്സസും ഉപയോഗിച്ച് ഈ compute capability 9.0 ആക്സിലറേറ്റർ വിന്യസിക്കാം.
സ്പെസിഫിക്കേഷനുകൾ
ഓരോ GPU-ക്കും VRAM
ആർക്കിടെക്ചർ
കംപ്യൂട്ട് കപ്പാസിറ്റി
FP32 കംപ്യൂട്ട്
മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്
പവർ പരിധി
ഇപ്പോൾ ലിസ്റ്റ് ചെയ്തിരിക്കുന്ന മെഷീനുകൾക്കായി ഇൻഫ്രാസ്ട്രക്ചർ ദാതാവ് നൽകിയ മൂല്യങ്ങളാണിവ; യഥാർത്ഥ പ്രകടനം ഓരോ മെഷീനിലും വ്യത്യാസപ്പെടാം.
ലഭ്യമായ കോൺഫിഗറേഷനുകൾ
തത്സമയ സ്റ്റോക്കും വിലകളും തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് അന്തിമ വില സ്ഥിരീകരിക്കപ്പെടും.
തത്സമയ വിലകൾ ലോഡ് ചെയ്യുന്നു…
H100 PCIE ഏതിനൊക്കെ അനുയോജ്യമാണ്
വലിയ ഭാഷാ മോഡൽ (LLM) ഇൻഫറൻസ്
80 GB VRAM-ഉം ഉയർന്ന മെമ്മറി ബാൻഡ്വിഡ്ത്തും ഉപയോഗിച്ച്, മുൻകൂട്ടി ക്രമീകരിച്ച vLLM അല്ലെങ്കിൽ Ollama ടെംപ്ലേറ്റുകളോടൊപ്പം വലിയ ഭാഷാ മോഡലുകൾ മെമ്മറിയിൽ തന്നെ സർവ് ചെയ്യുക.
മോഡൽ ഫൈൻ-ട്യൂണിംഗും പരിശീലനവും
Hopper ആർക്കിടെക്ചറും തയ്യാറായ PyTorch/CUDA എൻവയോൺമെന്റുകളും ഉപയോഗിച്ച് ഡീപ് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പരിശീലിപ്പിക്കുകയോ ഫൈൻ-ട്യൂൺ ചെയ്യുകയോ ചെയ്യുക.
ബാച്ച് ഇമേജ് ജനറേഷൻ
വലിയ മെമ്മറി ശേഷിയിൽ നിന്ന് പ്രയോജനം നേടുന്ന ഉയർന്ന ത്രൂപുട്ട് ഡിഫ്യൂഷൻ പൈപ്പ്‌ലൈനുകളും സങ്കീർണ്ണമായ ComfyUI വർക്ക്ഫ്ലോകളും പ്രവർത്തിപ്പിക്കുക.
ഡാറ്റാ സയൻസും സിമുലേഷനും
ഏകദേശം 41.0 TFLOPS സ്റ്റാൻഡേർഡ് ഫ്ലോട്ടിംഗ്-പോയിന്റ് പെർഫോമൻസും ഏകദേശം 1760 GB/s മെമ്മറി ത്രൂപുട്ടും ഉപയോഗിച്ച് കമ്പ്യൂട്ട്-ഇന്റൻസീവ് സിമുലേഷനുകളും ഡാറ്റാ പ്രോസസ്സിംഗ് ജോലികളും നടത്തുക.
ഇത് നിങ്ങൾക്ക് അനുയോജ്യമായ GPU ആണോ?
നിങ്ങളുടെ ജോലികൾക്ക് 80 GB VRAM, ഡാറ്റാസെന്റർ-ഗ്രേഡ് മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്, Hopper compute capability 9.0 ഫീച്ചറുകൾ എന്നിവ ആവശ്യമുള്ളപ്പോൾ H100 PCIE തിരഞ്ഞെടുക്കുക. ലളിതമായ ഇൻഫറൻസിനോ ചെറിയ മോഡലുകൾക്കോ, കുറഞ്ഞ VRAM ഉള്ള വർക്ക്സ്റ്റേഷൻ അല്ലെങ്കിൽ കൺസ്യൂമർ GPU കൂടുതൽ ലാഭകരമാണ്; അതേസമയം അതിതീവ്രമായ ത്രൂപുട്ട് ആവശ്യകതകൾക്ക് SXM അടിസ്ഥാനത്തിലുള്ള ഡാറ്റാസെന്റർ വേരിയന്റ് അനുയോജ്യമായേക്കാം.
സമാന GPU-കളുമായി താരതമ്യം ചെയ്യുക
| GPU | ഓരോ GPU-ക്കും VRAM | ആർക്കിടെക്ചർ | FP32 കംപ്യൂട്ട് | മണിക്കൂറിന് മുതൽ | വിശദാംശങ്ങൾ |
|---|---|---|---|---|---|
| H100 PCIE | 80 GB | Hopper | ≈ 41 TFLOPS | — | |
| H100 NVL | 94 GB | Hopper | ≈ 48.3 TFLOPS | — | വിശദാംശങ്ങൾ |
| H100 SXM | 80 GB | Hopper | ≈ 53.5 TFLOPS | — | വിശദാംശങ്ങൾ |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | വിശദാംശങ്ങൾ |
പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
H100 PCIE LLM ഫൈൻ-ട്യൂണിംഗിനും ഇൻഫറൻസിനും അനുയോജ്യമാണോ?
അതെ, 80 GB VRAM-ഉം ഏകദേശം 1760 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തും വലിയ മോഡലുകൾ ഹോസ്റ്റ് ചെയ്യാനും പരിശീലിപ്പിക്കാനും ഇതിനെ അനുയോജ്യമാക്കുന്നു. PyTorch/CUDA, vLLM, അല്ലെങ്കിൽ Ollama എന്നിവയ്ക്കായുള്ള മുൻകൂട്ടി ക്രമീകരിച്ച ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ഉടൻ ആരംഭിക്കാം.
H100 PCIE, SXM അല്ലെങ്കിൽ ചെറിയ വർക്ക്സ്റ്റേഷൻ GPU-കളുമായി എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?
H100 PCIE 350 W TDP-യിൽ പ്രവർത്തിക്കുന്നു; ഉയർന്ന വാട്ടേജുള്ള SXM ഡാറ്റാസെന്റർ വേരിയന്റുകളെ അപേക്ഷിച്ച് കുറഞ്ഞ വൈദ്യുതി ഉപഭോഗവും സ്റ്റാൻഡേർഡ് PCIe അനുയോജ്യതയും ഇത് നൽകുന്നു. വർക്ക്സ്റ്റേഷൻ അല്ലെങ്കിൽ കൺസ്യൂമർ കാർഡുകളെ അപേക്ഷിച്ച്, ഇത് 80 GB എന്ന വളരെ കൂടുതൽ VRAM-ഉം ഉയർന്ന മെമ്മറി ബാൻഡ്വിഡ്ത്തും നൽകുന്നു.
ഈ GPU-യ്ക്ക് ഏതൊക്കെ സോഫ്റ്റ്‌വെയർ പിന്തുണയും compute capability-യും ഉണ്ട്?
NVIDIA Hopper ആർക്കിടെക്ചറിൽ അധിഷ്ഠിതമായതിനാൽ, H100 PCIE CUDA compute capability 9.0 പിന്തുണയ്ക്കുന്നു. PyTorch/CUDA, ComfyUI എന്നിവ ഉൾപ്പെടെയുള്ള തയ്യാറായ ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ഇൻസ്റ്റൻസുകൾ ആരംഭിക്കാം, അല്ലെങ്കിൽ SSH ആക്സസ് വഴി സ്വന്തം സ്റ്റാക്ക് ക്രമീകരിക്കാം.
ONIE-ൽ H100 PCIE ഇൻസ്റ്റൻസുകൾക്കുള്ള ബില്ലിംഗ് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?
ONIE-ലെ ഇൻസ്റ്റൻസുകൾക്ക് ലളിതമായ മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗ് ആണ് ഉള്ളത്; GPU സജീവമായിരിക്കുന്ന സമയത്തിന് മാത്രമേ പണം നൽകേണ്ടതുള്ളൂ. ഓരോ ഡിപ്ലോയ്മെന്റിലും പൂർണ്ണ SSH ആക്സസ് ഉൾപ്പെടുന്നു.
H100 PCIE മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
ഒരു അക്കൗണ്ട് സൃഷ്ടിക്കുക, കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കുക, SSH വഴി കണക്ട് ചെയ്യുക. GPU ഡിലീറ്റ് ചെയ്യുമ്പോൾ ബില്ലിംഗ് നിർത്തും.
H100 PCIE വാടകയ്ക്ക് എടുക്കുക