ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA H200 NVL GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA H200 NVL ਇੱਕ Hopper-architecture ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜੋ ਮੈਮੋਰੀ-ਭਾਰੀ ਕੰਮਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਇਸ ਵਿੱਚ 140 GB VRAM ਅਤੇ ਲਗਭਗ 3884 GB/s ਦੀ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਹੈ। ਇਹ 600 W ਪਾਵਰ ਸੀਮਾ 'ਤੇ ਚੱਲਦਾ ਹੈ, compute capability 9.0 ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਲਗਭਗ 48.3 TFLOPS ਮਿਆਰੀ floating-point compute ਦਿੰਦਾ ਹੈ। ਤੁਸੀਂ ਇਸ ਪ੍ਰੋਸੈਸਰ ਨੂੰ ONIE 'ਤੇ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਸਿੱਧੀ SSH ਪਹੁੰਚ ਅਤੇ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਡਿਪਲੌਇ ਕਰ ਸਕਦੇ ਹੋ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
H200 NVL ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
Large Language Model ਇਨਫਰੈਂਸ
ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਬਿਨਾਂ ਸ਼ਾਰਡਿੰਗ ਦੇ ਮੈਮੋਰੀ ਵਿੱਚ ਚਲਾਓ, 140 GB VRAM ਸਮਰੱਥਾ ਅਤੇ ਲਗਭਗ 3884 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਾ ਫਾਇਦਾ ਉਠਾਉਂਦੇ ਹੋਏ।
ਮਾਡਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਅਤੇ ਟ੍ਰੇਨਿੰਗ
Hopper compute capability 9.0 ਅਤੇ ਵੱਡੇ ਬੈਚ ਆਕਾਰਾਂ ਲਈ ਖੁੱਲ੍ਹੀ GPU ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਡੀਪ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਅਨੁਕੂਲ ਬਣਾਓ।
ਉੱਚ-ਥਰੂਪੁੱਟ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ
ਪਹਿਲਾਂ ਤੋਂ ਕੌਂਫਿਗਰ ਕੀਤੇ PyTorch/CUDA, vLLM ਜਾਂ Ollama ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੱਡੇ ਡੇਟਾਸੈੱਟਾਂ ਅਤੇ ਲੰਬੀਆਂ context windows ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪ੍ਰੋਸੈਸ ਕਰੋ।
ਵਿਗਿਆਨਕ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ
ਗੁੰਝਲਦਾਰ ਡੇਟਾਸੈਂਟਰ ਸਿਮੂਲੇਸ਼ਨਾਂ ਨੂੰ ਚਲਾਓ ਜਿਨ੍ਹਾਂ ਨੂੰ ਲਗਭਗ 48.3 TFLOPS ਮਿਆਰੀ floating-point ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਕਾਫ਼ੀ ਆਨਬੋਰਡ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੀ ਮੁੱਖ ਰੁਕਾਵਟ VRAM ਸਮਰੱਥਾ ਅਤੇ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਹੋਵੇ, ਖ਼ਾਸ ਕਰਕੇ ਇੱਕ ਹੀ ਕਾਰਡ 'ਤੇ ਵੱਡੇ ਮਾਡਲ ਹੋਸਟ ਕਰਨ ਲਈ, ਤਾਂ H200 NVL ਚੁਣੋ। ਜੇ ਤੁਸੀਂ ਹਲਕੀ ਇਨਫਰੈਂਸ, ਮਿਆਰੀ ਇਮੇਜ ਜਨਰੇਸ਼ਨ, ਜਾਂ ਡਿਵੈਲਪਮੈਂਟ ਕੰਮ ਕਰ ਰਹੇ ਹੋ ਜਿਨ੍ਹਾਂ ਨੂੰ 140 GB ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਨਹੀਂ, ਤਾਂ ਇੱਕ ਛੋਟਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਕੰਜ਼ਿਊਮਰ GPU ਵਧੇਰੇ ਵਿਹਾਰਕ ਚੋਣ ਹੈ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਮਿਆਰੀ Hopper GPU ਦੀ ਬਜਾਏ H200 NVL ਕਿਉਂ ਚੁਣਿਆ ਜਾਵੇ?
H200 NVL ਵਿੱਚ 140 GB VRAM ਅਤੇ ਲਗਭਗ 3884 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਹੈ, ਜੋ ਪਿਛਲੀ Hopper ਪੀੜ੍ਹੀ ਦੇ ਕਾਰਡਾਂ ਦੀ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਅਤੇ ਬੈਂਡਵਿਡਥ ਨਾਲੋਂ ਵੱਧ ਹੈ। ਇਸ ਨਾਲ ਵੱਡੇ ਮਾਡਲ ਅਤੇ context windows ਇੱਕ ਹੀ GPU 'ਤੇ ਫਿੱਟ ਹੋ ਸਕਦੇ ਹਨ।
ਕੀ H200 NVL vLLM ਜਾਂ Ollama ਨਾਲ LLM ਸਰਵਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, 140 GB ਮੈਮੋਰੀ ਪੂਲ ਅਤੇ ਉੱਚ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਸਰਵਿੰਗ ਲਈ ਬਹੁਤ ਢੁਕਵਾਂ ਬਣਾਉਂਦੇ ਹਨ। ONIE ਤੁਹਾਨੂੰ ਜਲਦੀ ਸ਼ੁਰੂ ਕਰਨ ਵਿੱਚ ਮਦਦ ਲਈ vLLM ਅਤੇ Ollama ਦੋਹਾਂ ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਕਿਹੜੇ ਸਾਫ਼ਟਵੇਅਰ ਵਾਤਾਵਰਣ ਅਤੇ ਪਹੁੰਚ ਤਰੀਕੇ ਉਪਲਬਧ ਹਨ?
ਹਰ ਇੰਸਟੈਂਸ ਵਿੱਚ ਕਸਟਮ ਕੌਂਫਿਗਰੇਸ਼ਨ ਲਈ ਪੂਰੀ SSH ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ। ਤੁਸੀਂ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਸਮੇਤ ਪਹਿਲਾਂ ਤੋਂ ਇੰਸਟਾਲ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਇੰਸਟੈਂਸ ਵੀ ਲਾਂਚ ਕਰ ਸਕਦੇ ਹੋ।
ONIE 'ਤੇ H200 NVL ਲਈ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ਇੰਸਟੈਂਸਾਂ ਦੀ ਬਿਲਿੰਗ ਪ੍ਰਤੀ-ਘੰਟਾ ਆਧਾਰ 'ਤੇ ਹੁੰਦੀ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਦਾ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ H200 NVL ਇੰਸਟੈਂਸ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ।
H200 NVL ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
H200 NVL ਕਿਰਾਏ ’ਤੇ ਲਓ