ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA H100 SXM GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA H100 SXM ਇੱਕ Hopper ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜਿਸ ਵਿੱਚ 80 GB VRAM ਅਤੇ 700 W ਪਾਵਰ ਐਨਵੈਲਪ ਹੈ। ਇਹ ਲਗਭਗ 53.5 TFLOPS ਮਿਆਰੀ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਕੰਪਿਊਟ ਅਤੇ ਲਗਭਗ 2869 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ, ਅਤੇ CUDA compute capability 9.0 ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ। ONIE 'ਤੇ ਇਸਨੂੰ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਪੂਰੀ SSH ਐਕਸੈਸ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਕਿਰਾਏ 'ਤੇ ਲਓ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
H100 SXM ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਇਨਫਰੈਂਸ
80 GB VRAM ਸਮਰੱਥਾ ਅਤੇ ਲਗਭਗ 2869 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, vLLM ਜਾਂ Ollama ਟੈਂਪਲੇਟਾਂ ਰਾਹੀਂ ਭਾਰੀ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਲਾਓ।
ਡੀਪ ਲਰਨਿੰਗ ਫਾਈਨ-ਟਿਊਨਿੰਗ
Hopper ਆਰਕੀਟੈਕਚਰ ਅਤੇ CUDA compute capability 9.0 ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ PyTorch/CUDA ਵਾਤਾਵਰਣਾਂ ਨਾਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ।
ਉੱਚ-ਥਰੂਪੁਟ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ
700 W ਡੇਟਾਸੈਂਟਰ ਫਾਰਮ ਫੈਕਟਰ ਵਿੱਚ ਲਗਭਗ 53.5 TFLOPS ਕੰਪਿਊਟ ਪ੍ਰਦਰਸ਼ਨ ਤੋਂ ਲਾਭ ਲੈਣ ਵਾਲੇ ਭਾਰੀ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ ਕੰਮ ਚਲਾਓ।
ਭਾਰੀ ਜਨਰੇਟਿਵ ਮੀਡੀਆ ਵਰਕਫਲੋ
ਵੱਡੇ ਬੈਚ ਸਾਈਜ਼ ਨਾਲ ਗੁੰਝਲਦਾਰ ComfyUI ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਚਲਾਓ, ਜੋ 80 GB ਮੈਮਰੀ ਪੂਲ ਵਿੱਚ ਆਰਾਮ ਨਾਲ ਫਿੱਟ ਹੋਣ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਇਨਫਰੈਂਸ ਵਰਕਲੋਡ ਨੂੰ 80 GB ਉੱਚ-ਬੈਂਡਵਿਡਥ ਡੇਟਾਸੈਂਟਰ ਮੈਮਰੀ ਅਤੇ Hopper ਆਰਕੀਟੈਕਚਰ ਫੀਚਰਾਂ ਦੀ ਲੋੜ ਹੋਵੇ, ਤਾਂ H100 SXM ਚੁਣੋ। ਹਲਕੇ ਵਿਕਾਸ ਜਾਂ ਛੋਟੇ ਮਾਡਲਾਂ ਲਈ ਇੱਕ ਛੋਟਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਖਪਤਕਾਰ GPU ਵਧੇਰੇ ਵਿਹਾਰਕ ਚੋਣ ਹੈ, ਜਦਕਿ ਜੇ ਇੱਕ ਇੰਸਟੈਂਸ ਤੁਹਾਡੇ ਪੂਰੇ ਮਾਡਲ ਨੂੰ 80 GB VRAM ਵਿੱਚ ਨਹੀਂ ਰੱਖ ਸਕਦਾ, ਤਾਂ ਨਵਾਂ ਜਾਂ ਵੱਧ ਸਮਰੱਥਾ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਬਿਹਤਰ ਹੈ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ H100 SXM LLM ਫਾਈਨ-ਟਿਊਨਿੰਗ ਅਤੇ ਇਨਫਰੈਂਸ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 80 GB VRAM ਅਤੇ ਲਗਭਗ 2869 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਸਰਵ ਕਰਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ, ਦੋਵਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀ ਹੈ। ਤੁਸੀਂ ONIE 'ਤੇ vLLM, Ollama ਜਾਂ PyTorch/CUDA ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੁਰੰਤ ਸ਼ੁਰੂਆਤ ਕਰ ਸਕਦੇ ਹੋ।
SXM ਵੇਰੀਐਂਟ ਘੱਟ ਪਾਵਰ ਵਾਲੇ ਡੇਟਾਸੈਂਟਰ ਜਾਂ ਵਰਕਸਟੇਸ਼ਨ GPUs ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
H100 SXM 700 W ਥਰਮਲ ਡਿਜ਼ਾਈਨ ਪਾਵਰ 'ਤੇ ਚੱਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ PCIe ਡੇਟਾਸੈਂਟਰ ਵੇਰੀਐਂਟਾਂ ਜਾਂ ਵਰਕਸਟੇਸ਼ਨ ਕਾਰਡਾਂ ਨਾਲੋਂ ਵੱਧ ਕੰਪਿਊਟ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਲਗਾਤਾਰ ਬਣਾਈ ਰੱਖ ਸਕਦਾ ਹੈ। ਜੇ ਤੁਹਾਡਾ ਵਰਕਲੋਡ ਲਗਭਗ 53.5 TFLOPS ਕੰਪਿਊਟ ਜਾਂ 80 GB ਮੈਮਰੀ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਵਰਤਦਾ, ਤਾਂ ਇੱਕ ਛੋਟਾ GPU ਕਾਫ਼ੀ ਹੋ ਸਕਦਾ ਹੈ।
CUDA compute capability 9.0 ਕਿਹੜੀ ਸਾਫਟਵੇਅਰ ਅਨੁਕੂਲਤਾ ਦਿੰਦਾ ਹੈ?
Compute capability 9.0 NVIDIA Hopper ਆਰਕੀਟੈਕਚਰ ਦੀਆਂ ਹਦਾਇਤਾਂ ਅਤੇ ਫੀਚਰਾਂ ਲਈ ਹਾਰਡਵੇਅਰ ਸਪੋਰਟ ਦਰਸਾਉਂਦਾ ਹੈ। ਸਾਡੇ ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ PyTorch/CUDA ਟੈਂਪਲੇਟ ਬਿਨਾਂ ਹੱਥੀਂ ਡਰਾਈਵਰ ਸੈੱਟਅੱਪ ਕੀਤੇ ਇਸ ਹਾਰਡਵੇਅਰ ਦੀ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਆਉਂਦੇ ਹਨ।
ONIE 'ਤੇ ਬਿਲਿੰਗ ਅਤੇ ਇੰਸਟੈਂਸ ਐਕਸੈਸ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ?
ਇੰਸਟੈਂਸ ਤੁਹਾਡੇ ਕਿਰਾਏ ਦੀ ਮਿਆਦ ਲਈ ਪ੍ਰਤੀ-ਘੰਟਾ ਆਧਾਰ 'ਤੇ ਬਿਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਡਿਪਲੌਏ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ SSH ਐਕਸੈਸ ਰਾਹੀਂ ਸਿੱਧਾ ਆਪਣੇ ਵਾਤਾਵਰਣ ਨਾਲ ਜੁੜ ਸਕਦੇ ਹੋ ਜਾਂ ComfyUI ਵਰਗੇ ਪਹਿਲਾਂ ਤੋਂ ਇੰਸਟਾਲ ਟੂਲਾਂ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦੇ ਹੋ।
H100 SXM ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
H100 SXM ਕਿਰਾਏ ’ਤੇ ਲਓ