ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA A100 SXM4 GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA A100 SXM4 ਇੱਕ Ampere ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜਿਸ ਵਿੱਚ 40 GB VRAM ਅਤੇ 400 W ਪਾਵਰ ਸੀਮਾ ਹੈ। ਇਹ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਅਤੇ ਲਗਭਗ 15.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸਿਜ਼ਨ ਕੰਪਿਊਟ ਦਿੰਦਾ ਹੈ, compute capability 8.0 'ਤੇ। ONIE 'ਤੇ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਸਿੱਧੀ SSH ਪਹੁੰਚ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਤੇ ComfyUI ਸਮੇਤ ਤਿਆਰ ਟੈਮਪਲੇਟਾਂ ਨਾਲ ਇਸਨੂੰ ਕਿਰਾਏ 'ਤੇ ਲਓ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
A100 SXM4 ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
LLM ਇਨਫਰੈਂਸ ਅਤੇ ਸਰਵਿੰਗ
ਪਹਿਲਾਂ ਤੋਂ ਕਨਫ਼ਿਗਰ ਕੀਤੇ vLLM ਜਾਂ Ollama ਟੈਮਪਲੇਟਾਂ ਰਾਹੀਂ 40 GB VRAM ਵਿੱਚ ਫ਼ਿੱਟ ਹੋਣ ਵਾਲੇ ਭਾਸ਼ਾ ਮਾਡਲ ਉੱਚ ਮੈਮੋਰੀ ਥਰੂਪੁੱਟ ਨਾਲ ਚਲਾਓ।
ਡੀਪ ਲਰਨਿੰਗ ਟ੍ਰੇਨਿੰਗ
Ampere ਡੇਟਾਸੈਂਟਰ ਆਰਕੀਟੈਕਚਰ 'ਤੇ PyTorch/CUDA ਵਿੱਚ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਨਾਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਟ੍ਰੇਨ ਅਤੇ ਫ਼ਾਈਨ-ਟਿਊਨ ਕਰੋ।
ਬੈਚ ਇਮੇਜ ਜਨਰੇਸ਼ਨ
ਹਾਈ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਡਿਫਿਊਜ਼ਨ ਆਉਟਪੁੱਟ ਬਣਾਓ ਅਤੇ ComfyUI ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਵਰਕਫ਼ਲੋ ਚਲਾਓ, ਬਿਨਾਂ ਕੰਜ਼ਿਊਮਰ-ਗ੍ਰੇਡ ਮੈਮੋਰੀ ਸੀਮਾਵਾਂ ਤੱਕ ਪਹੁੰਚੇ।
ਵਿਗਿਆਨਕ ਕੰਪਿਊਟਿੰਗ
ਮੈਮੋਰੀ-ਗਹਿਰੀਆਂ ਸਿਮੂਲੇਸ਼ਨਾਂ ਅਤੇ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਵਰਕਲੋਡ ਚਲਾਓ, ਜੋ compute capability 8.0 ਅਤੇ SXM4 ਫ਼ਾਰਮ-ਫ਼ੈਕਟਰ ਪਾਵਰ ਸੀਮਾਵਾਂ ਦਾ ਲਾਭ ਲੈਂਦੇ ਹਨ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਇਨਫਰੈਂਸ ਵਰਕਲੋਡ ਕੰਜ਼ਿਊਮਰ GPU ਦੀਆਂ ਮੈਮੋਰੀ ਸੀਮਾਵਾਂ ਤੋਂ ਵੱਧ ਹੋਣ ਅਤੇ ਡੇਟਾਸੈਂਟਰ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਲੋੜ ਹੋਵੇ, ਤਾਂ 40 GB A100 SXM4 ਚੁਣੋ। ਜੇ ਤੁਹਾਡੇ ਬਿਨਾਂ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ ਮਾਡਲ 40 GB ਤੋਂ ਵੱਧ ਹਨ, ਤਾਂ ਵੱਧ VRAM ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਚੁਣੋ; ਹਲਕੀ ਇਨਫਰੈਂਸ ਜਾਂ ਡਿਵੈਲਪਮੈਂਟ ਲਈ ਛੋਟਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਕੰਜ਼ਿਊਮਰ ਕਾਰਡ ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ 40 GB A100 SXM4 LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 40 GB VRAM ਅਤੇ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਸਰਵਿੰਗ ਅਤੇ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਚੰਗਾ ਬਣਾਉਂਦੀ ਹੈ। ਤੁਸੀਂ ਦਿੱਤੇ ਗਏ vLLM, Ollama ਜਾਂ PyTorch/CUDA ਟੈਮਪਲੇਟਾਂ ਰਾਹੀਂ ਤੇਜ਼ੀ ਨਾਲ ਮਾਡਲ ਡਿਪਲੌਏ ਕਰ ਸਕਦੇ ਹੋ।
ਇਹ 40 GB SXM4 ਮਾਡਲ ਹੋਰ ਡੇਟਾਸੈਂਟਰ GPUs ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
SXM4 ਵੇਰੀਐਂਟ 400 W ਥਰਮਲ ਡਿਜ਼ਾਈਨ ਪਾਵਰ 'ਤੇ ਚੱਲਦਾ ਹੈ ਅਤੇ compute capability 8.0 ਵਾਲੇ Ampere ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਲਗਾਤਾਰ ਡੇਟਾਸੈਂਟਰ ਪ੍ਰਦਰਸ਼ਨ ਦਿੰਦਾ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਵਰਕਲੋਡ ਨੂੰ ਮਾਡਲ ਸ਼ਾਰਡਿੰਗ ਤੋਂ ਬਚਣ ਲਈ 40 GB ਤੋਂ ਵੱਧ ਮੈਮੋਰੀ ਚਾਹੀਦੀ ਹੈ, ਤਾਂ ਵੱਧ ਸਮਰੱਥਾ ਵਾਲੇ Ampere ਜਾਂ ਨਵੀਂ ਪੀੜ੍ਹੀ ਦੇ ਡੇਟਾਸੈਂਟਰ GPU ਵੱਲ ਜਾਣ ਬਾਰੇ ਵਿਚਾਰ ਕਰੋ।
ONIE 'ਤੇ A100 SXM4 ਦੀ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ਜਦੋਂ ਤੱਕ ਤੁਹਾਡਾ ਕਿਰਾਇਆ ਸਰਗਰਮ ਹੈ, ਇੰਸਟੈਂਸ ਦੀ ਬਿਲਿੰਗ ਪ੍ਰਤੀ-ਘੰਟਾ ਆਧਾਰ 'ਤੇ ਹੁੰਦੀ ਹੈ। ਇਸ ਨਾਲ ਤੁਸੀਂ ਭਾਰੀ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਬੈਚ ਇਨਫਰੈਂਸ ਜੌਬ ਚਲਾ ਸਕਦੇ ਹੋ ਅਤੇ ਮੁਕੰਮਲ ਹੋਣ 'ਤੇ ਇੰਸਟੈਂਸ ਬੰਦ ਕਰ ਸਕਦੇ ਹੋ।
ਮੈਂ ਆਪਣੇ A100 SXM4 ਇੰਸਟੈਂਸ ਨਾਲ ਕਿਵੇਂ ਜੁੜਾਂ ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਸੈੱਟਅੱਪ ਕਰਾਂ?
ਤੁਹਾਨੂੰ ਮਸ਼ੀਨ ਤੱਕ ਸਿੱਧੀ SSH ਪਹੁੰਚ ਮਿਲਦੀ ਹੈ, ਨਾਲ ਹੀ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਟੈਮਪਲੇਟ ਵੀ। ਲਾਂਚ ਸਮੇਂ ਆਪਣਾ ਪਸੰਦੀਦਾ ਟੈਮਪਲੇਟ ਚੁਣੋ ਅਤੇ ਤੁਰੰਤ ਕੰਮ ਸ਼ੁਰੂ ਕਰੋ।
A100 SXM4 ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
A100 SXM4 ਕਿਰਾਏ ’ਤੇ ਲਓ