NVIDIA L40S GPU മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
NVIDIA L40S ഒരു Ada Lovelace ഡാറ്റാസെന്റർ GPU ആണ്, ഇത് ONIE-ൽ ക്ലൗഡ് വാടകയ്ക്ക് ലഭ്യമാണ്. ഇതിൽ 45 GB VRAM, ഏകദേശം 73.3 TFLOPS സിംഗിൾ-പ്രിസിഷൻ കമ്പ്യൂട്ട്, ഏകദേശം 626 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്ത് എന്നിവ 350 W പവർ പരിധിക്കുള്ളിൽ ലഭിക്കുന്നു. CUDA കമ്പ്യൂട്ട് കപ്പാസിറ്റി 8.9 പിന്തുണയ്ക്കുന്ന ഈ ഇൻസ്റ്റൻസ്, ആവശ്യകതയേറിയ AI പരിശീലനം, ഇൻഫറൻസ്, ഗ്രാഫിക്സ് വർക്ക്‌ലോഡുകൾ എന്നിവ കൈകാര്യം ചെയ്യുന്നു, മണിക്കൂറടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗോടെ.
സ്പെസിഫിക്കേഷനുകൾ
ഓരോ GPU-ക്കും VRAM
ആർക്കിടെക്ചർ
കംപ്യൂട്ട് കപ്പാസിറ്റി
FP32 കംപ്യൂട്ട്
മെമ്മറി ബാൻഡ്വിഡ്ത്ത്
പവർ പരിധി
ഇപ്പോൾ ലിസ്റ്റ് ചെയ്തിരിക്കുന്ന മെഷീനുകൾക്കായി ഇൻഫ്രാസ്ട്രക്ചർ ദാതാവ് നൽകിയ മൂല്യങ്ങളാണിവ; യഥാർത്ഥ പ്രകടനം ഓരോ മെഷീനിലും വ്യത്യാസപ്പെടാം.
ലഭ്യമായ കോൺഫിഗറേഷനുകൾ
തത്സമയ സ്റ്റോക്കും വിലകളും തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് അന്തിമ വില സ്ഥിരീകരിക്കപ്പെടും.
തത്സമയ വിലകൾ ലോഡ് ചെയ്യുന്നു…
L40S ഏതിനൊക്കെ അനുയോജ്യമാണ്
വലിയ ഭാഷാ മോഡൽ (LLM) ഇൻഫറൻസ്
45 GB മെമ്മറി ശേഷിക്കുള്ളിൽ, vLLM, Ollama പോലുള്ള തയ്യാർ ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ക്വാണ്ടൈസ് ചെയ്തതോ മുഴുവൻ പ്രിസിഷനിലുള്ളതോ ആയ ഭാഷാ മോഡലുകൾ വിന്യസിക്കുക.
ജനറേറ്റീവ് ഇമേജ് വർക്ക്‌ഫ്ലോകൾ
Ada Lovelace ആർക്കിടെക്ചർ പ്രയോജനപ്പെടുത്തി ComfyUI-ൽ സങ്കീർണ്ണമായ ഡിഫ്യൂഷൻ പൈപ്പ്‌ലൈനുകളും ബാച്ച് ജനറേഷൻ ടാസ്കുകളും പ്രവർത്തിപ്പിക്കുക.
ഡീപ് ലേണിംഗ് ഫൈൻ-ട്യൂണിംഗ്
ഏകദേശം 73.3 TFLOPS കമ്പ്യൂട്ട് ഉപയോഗിച്ച്, PyTorch/CUDA എൻവയോൺമെന്റുകളിൽ ന്യൂറൽ നെറ്റ്‌വർക്കുകളും LoRA അഡാപ്റ്ററുകളും ഫൈൻ-ട്യൂൺ ചെയ്യുക.
ഡാറ്റാസെന്റർ ഗ്രാഫിക്സും റെൻഡറിംഗും
ഏകദേശം 626 GB/s മെമ്മറി ബാൻഡ്വിഡ്ത്തുള്ള ഡാറ്റാസെന്റർ GPU-യുടെ പ്രയോജനം ലഭിക്കുന്ന ഹെഡ്‌ലെസ് റെൻഡറിംഗും സിമുലേഷൻ ടാസ്കുകളും നടപ്പിലാക്കുക.
ഇത് നിങ്ങൾക്ക് അനുയോജ്യമായ GPU ആണോ?
നിങ്ങളുടെ വർക്ക്‌ലോഡിന് 45 GB VRAM-ഉം ഡാറ്റാസെന്റർ വിശ്വാസ്യതയും ആവശ്യമുള്ളപ്പോൾ, സാധാരണ കൺസ്യൂമർ കാർഡുകൾക്കപ്പുറം പോകാൻ L40S തിരഞ്ഞെടുക്കുക. നിങ്ങളുടെ മോഡലുകൾ കുറഞ്ഞ മെമ്മറിയിൽ ഒതുങ്ങുന്നെങ്കിൽ, ചെറിയ വർക്ക്‌സ്റ്റേഷൻ അല്ലെങ്കിൽ കൺസ്യൂമർ GPU കൂടുതൽ ലാഭകരമാണ്. ക്വാണ്ടൈസ് ചെയ്യാത്ത വലിയ ഫൗണ്ടേഷൻ മോഡലുകൾക്ക് കൂടുതൽ മെമ്മറിയുള്ള ഡാറ്റാസെന്റർ GPU ആവശ്യമാണ്.
സമാന GPU-കളുമായി താരതമ്യം ചെയ്യുക
| GPU | ഓരോ GPU-ക്കും VRAM | ആർക്കിടെക്ചർ | FP32 കംപ്യൂട്ട് | മണിക്കൂറിന് മുതൽ | വിശദാംശങ്ങൾ |
|---|---|---|---|---|---|
| L40S | 45 GB | Ada Lovelace | ≈ 73.3 TFLOPS | — | |
| RTX PRO 5000 | 48 GB | Blackwell | ≈ 69.6 TFLOPS | — | വിശദാംശങ്ങൾ |
| RTX 6000Ada | 48 GB | Ada Lovelace | ≈ 81.4 TFLOPS | — | വിശദാംശങ്ങൾ |
| RTX 6000D | 84 GB | Blackwell | ≈ 77.6 TFLOPS | — | വിശദാംശങ്ങൾ |
പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
NVIDIA L40S LLM ഇൻഫറൻസിനും ഫൈൻ-ട്യൂണിംഗിനും അനുയോജ്യമാണോ?
ഉവ്വ്. 45 GB VRAM-ഉം CUDA കമ്പ്യൂട്ട് കപ്പാസിറ്റി 8.9-ഉം ഉള്ളതിനാൽ, ഇടത്തരം മുതൽ വലിയ വരെയുള്ള ഭാഷാ മോഡലുകൾ സേവിക്കുന്നതിനും പാരാമീറ്റർ-എഫിഷ്യന്റ് ഫൈൻ-ട്യൂണിംഗ് നടത്തുന്നതിനും L40S മികച്ചതാണ്. മുൻകൂട്ടി കോൺഫിഗർ ചെയ്ത vLLM, Ollama, അല്ലെങ്കിൽ PyTorch/CUDA ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് ഇൻസ്റ്റൻസുകൾ ആരംഭിക്കാം.
L40S കൺസ്യൂമർ GPU-കളുമായും വലിയ ഡാറ്റാസെന്റർ GPU-കളുമായും എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?
സാധാരണ കൺസ്യൂമർ Ada Lovelace കാർഡുകളെക്കാൾ കൂടുതൽ VRAM L40S-ൽ ഉണ്ട്, അതിനാൽ ഓഫ്‌ലോഡ് ചെയ്യാതെ വലിയ മോഡൽ വെയ്റ്റുകൾ ഉൾക്കൊള്ളാൻ ഇതിന് കഴിയും. എന്നാൽ മെമ്മറി-ബൗണ്ട് വലിയ പരിശീലന ജോലികൾക്ക് മുൻഗണന നൽകേണ്ട, ഉയർന്ന മെമ്മറിയുള്ള കമ്പ്യൂട്ട്-മാത്രം ഡാറ്റാസെന്റർ GPU-കളെക്കാൾ മെമ്മറി ബാൻഡ്വിഡ്ത്ത് കുറവാണ്.
ONIE-ൽ എന്റെ L40S ഇൻസ്റ്റൻസിലേക്ക് എങ്ങനെ കണക്ട് ചെയ്ത് കോൺഫിഗർ ചെയ്യാം?
ഇൻസ്റ്റൻസ് ബൂട്ട് ആകുമ്പോൾ തന്നെ നിങ്ങളുടെ എൻവയോൺമെന്റിലേക്ക് പൂർണ്ണ SSH ആക്സസ് ലഭിക്കും. PyTorch/CUDA, ComfyUI, vLLM, Ollama എന്നിവ ഉൾപ്പെടെയുള്ള തയ്യാർ ടെംപ്ലേറ്റുകൾ തിരഞ്ഞെടുത്ത് ഉടൻ ജോലി ആരംഭിക്കാം.
L40S-ന് ബില്ലിംഗ് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?
ONIE എല്ലാ L40S വാടകകൾക്കും മണിക്കൂറടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗ് ഉപയോഗിക്കുന്നു. ഇൻസ്റ്റൻസ് നിങ്ങൾക്ക് അനുവദിച്ചിരിക്കുന്ന സമയത്തിന് മാത്രമേ പണം നൽകേണ്ടതുള്ളൂ.
L40S മണിക്കൂർ അടിസ്ഥാനത്തിൽ വാടകയ്ക്ക് എടുക്കുക
ഒരു അക്കൗണ്ട് സൃഷ്ടിക്കുക, കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കുക, SSH വഴി കണക്ട് ചെയ്യുക. GPU ഡിലീറ്റ് ചെയ്യുമ്പോൾ ബില്ലിംഗ് നിർത്തും.
L40S വാടകയ്ക്ക് എടുക്കുക