ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA H100 NVL GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA H100 NVL ਇੱਕ Hopper ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ, ਜਿਸ ਵਿੱਚ 94 GB VRAM ਅਤੇ compute capability 9.0 ਹੈ। ਇਹ 400 W ਥਰਮਲ ਸੀਮਾ ਵਿੱਚ ਲਗਭਗ 48.3 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਲਗਭਗ 3381 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ। ONIE 'ਤੇ H100 NVL ਨੂੰ ਪ੍ਰਤੀ ਘੰਟਾ ਬਿਲਿੰਗ, SSH ਪਹੁੰਚ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਮਪਲੇਟਾਂ ਨਾਲ ਕਿਰਾਏ 'ਤੇ ਲਓ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
H100 NVL ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਇਨਫਰੈਂਸ
vLLM ਜਾਂ Ollama ਰਾਹੀਂ 94 GB VRAM ਅਤੇ ਲਗਭਗ 3381 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰਦਿਆਂ ਉੱਚ-ਸਮਰੱਥਾ ਵਾਲੇ ਭਾਸ਼ਾ ਮਾਡਲ ਤੇਜ਼ ਟੋਕਨ ਜਨਰੇਸ਼ਨ ਲਈ ਤੈਨਾਤ ਕਰੋ।
ਡੀਪ ਲਰਨਿੰਗ ਫਾਈਨ-ਟਿਊਨਿੰਗ
Hopper ਆਰਕੀਟੈਕਚਰ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ compute capability 9.0 ਦੀ ਵਰਤੋਂ ਕਰਦਿਆਂ PyTorch ਵਿੱਚ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ।
ਉੱਚ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਇਮੇਜ ਜਨਰੇਸ਼ਨ
ਸਿਸਟਮ RAM ਵਿੱਚ ਭੇਜੇ ਬਿਨਾਂ, ਮੈਮਰੀ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ComfyUI ਵਰਕਫਲੋ ਅਤੇ ਵੱਡੀਆਂ diffusion ਪਾਈਪਲਾਈਨਾਂ ਚਲਾਓ।
ਵਿਗਿਆਨਕ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ
ਮੈਮਰੀ-ਭਾਰੀ ਡੇਟਾਸੈਂਟਰ ਵਰਕਲੋਡ ਚਲਾਓ ਜੋ ਲਗਭਗ 48.3 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਤੋਂ ਲਾਭ ਉਠਾਉਂਦੇ ਹਨ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ AI ਜਾਂ ਕੰਪਿਊਟ ਵਰਕਲੋਡ ਨੂੰ ਸਟੈਂਡਰਡ ਡੇਟਾਸੈਂਟਰ ਕਾਰਡਾਂ ਨਾਲੋਂ ਵੱਧ ਮੈਮਰੀ ਚਾਹੀਦੀ ਹੋਵੇ, ਜੋ 94 GB VRAM ਤੱਕ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਤਾਂ H100 NVL ਚੁਣੋ। ਹਲਕੀ ਇਨਫਰੈਂਸ ਅਤੇ ਡਿਵੈਲਪਮੈਂਟ ਲਈ ਛੋਟਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਖਪਤਕਾਰ GPU ਬਿਹਤਰ ਵਿਕਲਪ ਹੈ, ਜਦਕਿ ਜੇ ਤੁਹਾਡੇ ਮਾਡਲ 94 GB ਤੋਂ ਵੱਧ ਹੋਣ ਤਾਂ ਮਲਟੀ-GPU ਸੈੱਟਅੱਪ ਜਾਂ ਵੱਡਾ ਮੈਮਰੀ ਟੀਅਰ ਜ਼ਰੂਰੀ ਹੈ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ H100 NVL LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 94 GB VRAM ਅਤੇ ਲਗਭਗ 3381 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਉਨ੍ਹਾਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਸਰਵ ਕਰਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀ ਹੈ ਜੋ ਛੋਟੇ ਡੇਟਾਸੈਂਟਰ GPU ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦੇ।
H100 NVL ਸਟੈਂਡਰਡ H100 ਵੇਰੀਐਂਟਾਂ ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
H100 NVL ਵਿੱਚ 94 GB ਤੱਕ ਦੀ ਵਧੀ ਹੋਈ VRAM ਸਮਰੱਥਾ ਅਤੇ 400 W ਪਾਵਰ ਲਿਫ਼ਾਫ਼ਾ ਹੈ, ਜੋ ਸਟੈਂਡਰਡ Hopper ਡੇਟਾਸੈਂਟਰ ਸੰਰਚਨਾਵਾਂ ਦੇ ਮੁਕਾਬਲੇ ਵਾਧੂ ਮੈਮਰੀ ਹੈੱਡਰੂਮ ਦਿੰਦਾ ਹੈ।
ਇਸ GPU ਲਈ ONIE 'ਤੇ ਕਿਹੜੇ ਸਾਫਟਵੇਅਰ ਟੈਮਪਲੇਟ ਉਪਲਬਧ ਹਨ?
ਤੁਸੀਂ H100 NVL ਨੂੰ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ ਟੈਮਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੈਨਾਤ ਕਰ ਸਕਦੇ ਹੋ, ਜੋ ਸਾਰੇ compute capability 9.0 ਨੂੰ ਸਪੋਰਟ ਕਰਦੇ ਹਨ।
H100 NVL ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਵੇਲੇ ਬਿਲਿੰਗ ਅਤੇ ਪਹੁੰਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE 'ਤੇ ਇੰਸਟੈਂਸ ਪ੍ਰਤੀ ਘੰਟਾ ਬਿਲਿੰਗ ਨਾਲ ਆਉਂਦੇ ਹਨ ਅਤੇ ਸਿੱਧੀ SSH ਪਹੁੰਚ ਦਿੰਦੇ ਹਨ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਤੁਰੰਤ ਆਪਣੇ ਵਾਤਾਵਰਣ ਅਤੇ ਵਰਕਫਲੋ ਦਾ ਪ੍ਰਬੰਧ ਕਰ ਸਕੋ।
H100 NVL ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
H100 NVL ਕਿਰਾਏ ’ਤੇ ਲਓ