ലോഗിൻ
GPU Cloud · NVIDIA · Ampere

NVIDIA CMP 170HX GPU മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക

NVIDIA CMP 170HX ഒരു Ampere ആർക്കിടെക്ചർ ഡാറ്റാസെന്റർ GPU ആണ്. ഇതിൽ 64 GB VRAM-ഉം 250 W TDP-യും ഉണ്ട്. ഏകദേശം 1516 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും, compute capability 8.0-ൽ ഏകദേശം 12.1 TFLOPS സിംഗിൾ-പ്രിസിഷൻ കംപ്യൂട്ടും ഇത് നൽകുന്നു. ONIE-ൽ, മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗ്, പൂർണ്ണ SSH ആക്സസ്, PyTorch/CUDA, vLLM, Ollama, ComfyUI എന്നിവയ്ക്കുള്ള റെഡി ടെംപ്ലേറ്റുകൾ എന്നിവയോടെ ഈ കാർഡ് വിന്യസിക്കാം.

CMP 170HX വാടകയ്ക്ക് എടുക്കുക

സ്പെസിഫിക്കേഷനുകൾ

ഓരോ GPU-ക്കും VRAM

64 GB

ആർക്കിടെക്ചർ

NVIDIA Ampere

കംപ്യൂട്ട് കപ്പാസിറ്റി

8.0

FP32 കംപ്യൂട്ട്

≈ 12.1 TFLOPS

മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത്

≈ 1,516 GB/s

പവർ പരിധി

250 W

ഇപ്പോൾ ലിസ്റ്റ് ചെയ്തിരിക്കുന്ന മെഷീനുകൾക്കായി ഇൻഫ്രാസ്ട്രക്ചർ ദാതാവ് നൽകിയ മൂല്യങ്ങളാണിവ; യഥാർത്ഥ പ്രകടനം ഓരോ മെഷീനിലും വ്യത്യാസപ്പെടാം.

ലഭ്യമായ കോൺഫിഗറേഷനുകൾ

തത്സമയ സ്റ്റോക്കും വിലകളും തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് അന്തിമ വില സ്ഥിരീകരിക്കപ്പെടും.

തത്സമയ വിലകൾ ലോഡ് ചെയ്യുന്നു…

CMP 170HX ഏതിനൊക്കെ അനുയോജ്യമാണ്

മെമ്മറി-ബൗണ്ട് LLM ഇൻഫറൻസ്

64 GB VRAM ശേഷിയും ഏകദേശം 1516 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും ഉപയോഗപ്പെടുത്തി vLLM അല്ലെങ്കിൽ Ollama വഴി വലിയ ഭാഷാ മോഡലുകൾ സേവനം നൽകുക.

ഉയർന്ന മെമ്മറി ഡീപ് ലേണിംഗ്

വലിയ മെമ്മറി ശേഷിയും compute capability 8.0-ഉം ആവശ്യമുള്ള PyTorch/CUDA വർക്ക്‌ലോഡുകൾ, മോഡലുകളെ ഒന്നിലധികം ഉപകരണങ്ങളിലായി വിഭജിക്കാതെ പ്രവർത്തിപ്പിക്കുക.

സങ്കീർണ്ണമായ ഇമേജ് ജനറേഷൻ വർക്ക്ഫ്ലോകൾ

64 GB മെമ്മറി പൂളിനുള്ളിൽ ComfyUI-ൽ ഒന്നിലധികം വലിയ diffusion checkpoint-കളും control net-കളും ഒരേസമയം ലോഡ് ചെയ്യുക.

ഡാറ്റ പ്രോസസ്സിംഗും സിമുലേഷനും

250 W പവർ പരിധിക്കുള്ളിൽ ഉയർന്ന മെമ്മറി ത്രൂപുട്ടിൽ നിന്ന് പ്രയോജനം നേടുന്ന, മെമ്മറി-തീവ്രമായ ഡാറ്റാസെന്റർ ജോലികൾ നിർവഹിക്കുക.

ഇത് നിങ്ങൾക്ക് അനുയോജ്യമായ GPU ആണോ?

നിങ്ങളുടെ വർക്ക്‌ലോഡ് റോ സിംഗിൾ-പ്രിസിഷൻ കംപ്യൂട്ടിനേക്കാൾ മെമ്മറി ശേഷിയും ബാൻഡ്‌വിഡ്ത്തും കൊണ്ട് തടസ്സപ്പെടുമ്പോൾ CMP 170HX തിരഞ്ഞെടുക്കുക. വേഗതയേറിയ ട്രെയിനിംഗ് ആവർത്തനങ്ങൾ ആവശ്യമെങ്കിൽ ഉയർന്ന കംപ്യൂട്ട് ത്രൂപുട്ടുള്ള GPU തിരഞ്ഞെടുക്കുക; നിങ്ങളുടെ മോഡലുകൾക്ക് 64 GB VRAM ആവശ്യമില്ലെങ്കിൽ ചെറിയ കൺസ്യൂമർ കാർഡ് തിരഞ്ഞെടുക്കുക.

സമാന GPU-കളുമായി താരതമ്യം ചെയ്യുക

GPUഓരോ GPU-ക്കും VRAMആർക്കിടെക്ചർFP32 കംപ്യൂട്ട്മണിക്കൂറിന് മുതൽവിശദാംശങ്ങൾ
CMP 170HX64 GBAmpere≈ 12.1 TFLOPS—
Q RTX 800045 GBTuring≈ 11.9 TFLOPS—വിശദാംശങ്ങൾ
A800 PCIE80 GBAmpere≈ 15.6 TFLOPS—വിശദാംശങ്ങൾ
A100 PCIE40 GBAmpere≈ 15.6 TFLOPS—വിശദാംശങ്ങൾ

പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ

CMP 170HX LLM ഇൻഫറൻസിന് അനുയോജ്യമാണോ?

അതെ, 64 GB VRAM-ഉം ഏകദേശം 1516 GB/s മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും vLLM, Ollama പോലുള്ള ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് വലിയ ഭാഷാ മോഡലുകൾ ലോഡ് ചെയ്യുന്നതിനും സേവനം നൽകുന്നതിനും ഇതിനെ നന്നായി അനുയോജ്യമാക്കുന്നു. എന്നിരുന്നാലും, ഏകദേശം 12.1 TFLOPS സിംഗിൾ-പ്രിസിഷൻ കംപ്യൂട്ട് ആണ് ഇതിനുള്ളത് എന്നതിനാൽ, ഉയർന്ന കംപ്യൂട്ട് സാന്ദ്രതയുള്ള ഡാറ്റാസെന്റർ GPU-കളെക്കാൾ പ്രോംപ്റ്റ് പ്രോസസ്സിംഗ് വേഗത കുറവായിരിക്കും.

ഈ GPU സാധാരണ ഡാറ്റാസെന്റർ ആക്സിലറേറ്ററുകളുമായി എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?

CMP 170HX സാധാരണ Ampere ഡാറ്റാസെന്റർ കാർഡുകൾക്ക് സമാനമായ വലിയ 64 GB മെമ്മറി ബഫറും ഉയർന്ന മെമ്മറി ബാൻഡ്‌വിഡ്ത്തും നൽകുന്നു, 250 W TDP-യിലാണ് പ്രവർത്തിക്കുന്നത്. ഏകദേശം 12.1 TFLOPS എന്ന കുറഞ്ഞ കംപ്യൂട്ട് ത്രൂപുട്ടാണ് ഇതിന്റെ പ്രധാന ട്രേഡ്-ഓഫ്; അതിനാൽ കനത്ത കംപ്യൂട്ട് വർക്ക്‌ലോഡുകളെക്കാൾ മെമ്മറി-ബൗണ്ട് ജോലികൾക്കാണ് ഇത് കൂടുതൽ അനുയോജ്യം.

ഈ GPU-ക്ക് ഏതൊക്കെ സോഫ്റ്റ്‌വെയർ എൻവയോൺമെന്റുകൾ ലഭ്യമാണ്?

ഈ കാർഡ് CUDA compute capability 8.0-നെ പിന്തുണയ്ക്കുന്നു, PyTorch/CUDA, vLLM, Ollama, ComfyUI എന്നിവ ഉൾപ്പെടെയുള്ള മുൻകൂട്ടി കോൺഫിഗർ ചെയ്ത ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ONIE-ൽ ആരംഭിക്കാം. കസ്റ്റം ലൈബ്രറികൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനും എൻവയോൺമെന്റ് നിയന്ത്രിക്കുന്നതിനും നേരിട്ടുള്ള SSH ആക്സസും ലഭിക്കും.

CMP 170HX വാടകയ്‌ക്കെടുക്കുമ്പോൾ ബില്ലിംഗ് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

ONIE-ലെ ഇൻസ്റ്റൻസുകൾ മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗ് ഉപയോഗിക്കുന്നു; അതിനാൽ നിങ്ങളുടെ GPU സജീവമായി തുടരുന്ന സമയത്തിന് മാത്രമേ പണം നൽകേണ്ടതുള്ളൂ.

CMP 170HX മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക

ഒരു അക്കൗണ്ട് സൃഷ്ടിക്കുക, കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കുക, SSH വഴി കണക്ട് ചെയ്യുക. GPU ഡിലീറ്റ് ചെയ്യുമ്പോൾ ബില്ലിംഗ് നിർത്തും.

CMP 170HX വാടകയ്ക്ക് എടുക്കുക

എല്ലാ GPU-കളും →