ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA CMP 170HX GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA CMP 170HX ਇੱਕ Ampere ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ, ਜਿਸ ਵਿੱਚ 64 GB VRAM ਅਤੇ 250 W TDP ਹੈ। ਇਹ ਲਗਭਗ 1516 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਅਤੇ ਕੰਪਿਊਟ ਕੈਪੇਬਿਲਿਟੀ 8.0 ਉੱਤੇ ਲਗਭਗ 12.1 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਦਿੰਦਾ ਹੈ। ONIE 'ਤੇ, ਤੁਸੀਂ ਇਸ ਕਾਰਡ ਨੂੰ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਪੂਰੀ SSH ਪਹੁੰਚ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਡਿਪਲੌਏ ਕਰ ਸਕਦੇ ਹੋ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
CMP 170HX ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਮੈਮੋਰੀ-ਬਾਊਂਡ LLM ਇਨਫਰੈਂਸ
64 GB VRAM ਸਮਰੱਥਾ ਅਤੇ ਲਗਭਗ 1516 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਾ ਲਾਭ ਲੈ ਕੇ vLLM ਜਾਂ Ollama ਰਾਹੀਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਚਲਾਓ।
ਉੱਚ-ਮੈਮੋਰੀ ਡੀਪ ਲਰਨਿੰਗ
ਕਾਫ਼ੀ ਮੈਮੋਰੀ ਅਤੇ ਕੰਪਿਊਟ ਕੈਪੇਬਿਲਿਟੀ 8.0 ਵਾਲੇ PyTorch/CUDA ਵਰਕਲੋਡ ਚਲਾਓ, ਬਿਨਾਂ ਮਾਡਲ ਨੂੰ ਕਈ ਡਿਵਾਈਸਾਂ ਵਿੱਚ ਵੰਡੇ।
ਜਟਿਲ ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਵਰਕਫਲੋ
ComfyUI ਵਿੱਚ 64 GB ਮੈਮੋਰੀ ਪੂਲ ਦੇ ਅੰਦਰ ਕਈ ਵੱਡੇ ਡਿਫਿਊਜ਼ਨ ਚੈਕਪੌਇੰਟ ਅਤੇ ਕੰਟਰੋਲ ਨੈੱਟ ਇਕੱਠੇ ਲੋਡ ਕਰੋ।
ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ
250 W ਪਾਵਰ ਲਿਫਾਫੇ ਦੇ ਅੰਦਰ, ਉੱਚ ਮੈਮੋਰੀ ਥਰੂਪੁਟ ਤੋਂ ਲਾਭ ਲੈਣ ਵਾਲੇ ਮੈਮੋਰੀ-ਭਾਰੀ ਡੇਟਾਸੈਂਟਰ ਕੰਮ ਚਲਾਓ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡਾ ਵਰਕਲੋਡ ਕੱਚੀ ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਦੀ ਬਜਾਏ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਅਤੇ ਬੈਂਡਵਿਡਥ ਨਾਲ ਸੀਮਿਤ ਹੋਵੇ, ਤਾਂ CMP 170HX ਚੁਣੋ। ਜੇ ਤੁਹਾਨੂੰ ਤੇਜ਼ ਟ੍ਰੇਨਿੰਗ ਇਟਰੇਸ਼ਨ ਚਾਹੀਦੇ ਹਨ, ਤਾਂ ਵਧੇਰੇ ਕੰਪਿਊਟ ਥਰੂਪੁਟ ਵਾਲਾ GPU ਚੁਣੋ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਮਾਡਲਾਂ ਨੂੰ 64 GB VRAM ਦੀ ਲੋੜ ਨਹੀਂ, ਤਾਂ ਛੋਟਾ ਕੰਜ਼ਿਊਮਰ ਕਾਰਡ ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ CMP 170HX LLM ਇਨਫਰੈਂਸ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 64 GB VRAM ਅਤੇ ਲਗਭਗ 1516 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ vLLM ਅਤੇ Ollama ਵਰਗੇ ਟੈਂਪਲੇਟਾਂ ਰਾਹੀਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਲੋਡ ਕਰਨ ਅਤੇ ਸਰਵ ਕਰਨ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀ ਹੈ। ਪਰ, ਕਿਉਂਕਿ ਇਹ ਲਗਭਗ 12.1 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਦਿੰਦਾ ਹੈ, ਪ੍ਰੋਂਪਟ ਪ੍ਰੋਸੈਸਿੰਗ ਉੱਚ ਕੰਪਿਊਟ ਘਣਤਾ ਵਾਲੇ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲੋਂ ਹੌਲੀ ਹੋਵੇਗੀ।
ਇਹ GPU ਸਟੈਂਡਰਡ ਡੇਟਾਸੈਂਟਰ ਐਕਸਲਰੇਟਰਾਂ ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਹੈ?
CMP 170HX ਸਟੈਂਡਰਡ Ampere ਡੇਟਾਸੈਂਟਰ ਕਾਰਡਾਂ ਵਰਗੀ ਵੱਡੀ 64 GB ਮੈਮੋਰੀ ਬਫਰ ਅਤੇ ਉੱਚ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ, ਜਦਕਿ 250 W TDP ਉੱਤੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਸਦਾ ਮੁੱਖ ਸਮਝੌਤਾ ਲਗਭਗ 12.1 TFLOPS ਦਾ ਘੱਟ ਕੰਪਿਊਟ ਥਰੂਪੁਟ ਹੈ, ਜਿਸ ਕਰਕੇ ਇਹ ਭਾਰੀ ਕੰਪਿਊਟ ਵਰਕਲੋਡਾਂ ਦੀ ਬਜਾਏ ਮੈਮੋਰੀ-ਬਾਊਂਡ ਕੰਮਾਂ ਲਈ ਵਧੇਰੇ ਢੁਕਵਾਂ ਹੈ।
ਇਸ GPU ਲਈ ਕਿਹੜੇ ਸਾਫਟਵੇਅਰ ਵਾਤਾਵਰਣ ਉਪਲਬਧ ਹਨ?
ਇਹ ਕਾਰਡ CUDA ਕੰਪਿਊਟ ਕੈਪੇਬਿਲਿਟੀ 8.0 ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ ਅਤੇ ONIE 'ਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਸਮੇਤ ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਲਾਂਚ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਕਸਟਮ ਲਾਇਬ੍ਰੇਰੀਆਂ ਇੰਸਟਾਲ ਕਰਨ ਅਤੇ ਆਪਣਾ ਵਾਤਾਵਰਣ ਮੈਨੇਜ ਕਰਨ ਲਈ ਸਿੱਧੀ SSH ਪਹੁੰਚ ਵੀ ਮਿਲਦੀ ਹੈ।
CMP 170HX ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਸਮੇਂ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE 'ਤੇ ਇੰਸਟੈਂਸ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦੇ ਹਨ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਘੰਟਿਆਂ ਦਾ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਿੰਨੇ ਸਮੇਂ ਤੱਕ ਤੁਹਾਡਾ GPU ਸਰਗਰਮ ਰਹਿੰਦਾ ਹੈ।
CMP 170HX ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
CMP 170HX ਕਿਰਾਏ ’ਤੇ ਲਓ