ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA A40 GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA A40 ਇੱਕ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜੋ Ampere ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਬਣਿਆ ਹੈ, ਜਿਸਦੀ compute capability 8.6 ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ 45 GB VRAM ਹੈ। ONIE 'ਤੇ ਇਹ 300 W ਪਾਵਰ ਸੀਮਾ ਦੇ ਅੰਦਰ ਲਗਭਗ 29.9 TFLOPS ਸਿੰਗਲ-ਪ੍ਰਿਸੀਜ਼ਨ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਲਗਭਗ 536 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ। ਤੁਸੀਂ ਇਸਨੂੰ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਪੂਰੀ SSH ਪਹੁੰਚ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਸਮੇਤ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਡਿਪਲੌਏ ਕਰ ਸਕਦੇ ਹੋ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
A40 ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
LLM ਇਨਫਰੈਂਸ
ਪ੍ਰੀ-ਕੌਂਫਿਗਰਡ vLLM ਜਾਂ Ollama ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ 45 GB ਤੱਕ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਵਾਲੇ ਮਾਡਲ ਚਲਾਓ।
ਡੀਪ ਲਰਨਿੰਗ ਫਾਈਨ-ਟਿਊਨਿੰਗ
PyTorch/CUDA ਵਿੱਚ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ, ਵੱਡੇ ਬੈਚ ਸਾਈਜ਼ ਅਤੇ ਵੇਟਸ ਲਈ ਕਾਫ਼ੀ VRAM ਨਾਲ।
ਜਨਰੇਟਿਵ ਇਮੇਜ ਵਰਕਫਲੋ
ComfyUI ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗੁੰਝਲਦਾਰ ਡਿਫਿਊਜ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਚਲਾਓ ਅਤੇ ਇੱਕੋ ਸਮੇਂ ਕਈ ਚੈੱਕਪੌਇੰਟ ਮੈਮੋਰੀ ਵਿੱਚ ਰੱਖੋ।
ਡੇਟਾਸੈਂਟਰ ਕੰਪਿਊਟ ਕਾਰਜ
ਸਿਮੂਲੇਸ਼ਨ ਅਤੇ ਰੈਂਡਰਿੰਗ ਵਰਕਲੋਡ ਲਈ ਲਗਭਗ 29.9 TFLOPS ਸਿੰਗਲ-ਪ੍ਰਿਸੀਜ਼ਨ ਕੰਪਿਊਟ ਅਤੇ ਲਗਭਗ 536 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਵਰਕਲੋਡ ਨੂੰ Ampere ਡੇਟਾਸੈਂਟਰ ਆਰਕੀਟੈਕਚਰ 'ਤੇ 45 GB VRAM ਦੀ ਲੋੜ ਹੋਵੇ, ਜੋ ਆਮ ਖਪਤਕਾਰ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਹੈ, ਤਾਂ A40 ਚੁਣੋ। ਜੇ ਤੁਹਾਡੇ ਮਾਡਲ ਘੱਟ ਮੈਮੋਰੀ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦੇ ਹਨ ਤਾਂ ਛੋਟਾ ਖਪਤਕਾਰ ਕਾਰਡ ਚੁਣੋ, ਅਤੇ ਜੇ ਤੁਹਾਡੇ ਟ੍ਰੇਨਿੰਗ ਜੌਬ ਮੈਮੋਰੀ ਥਰੂਪੁੱਟ ਕਾਰਨ ਬਹੁਤ ਹੌਲੀ ਹਨ ਤਾਂ ਵੱਧ ਬੈਂਡਵਿਡਥ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ NVIDIA A40 LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, 45 GB VRAM ਸਮਰੱਥਾ ਕਾਰਨ A40 ਮੱਧਮ ਤੋਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਮੇਜ਼ਬਾਨੀ ਅਤੇ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਹੈ। ਤੁਸੀਂ ONIE 'ਤੇ ਸਿੱਧੇ vLLM, Ollama ਜਾਂ PyTorch/CUDA ਟੈਂਪਲੇਟ ਲਾਂਚ ਕਰਕੇ ਤੁਰੰਤ ਕੰਮ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
A40 ਛੋਟੇ ਖਪਤਕਾਰ GPU ਜਾਂ ਵੱਡੇ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
A40 ਵਿੱਚ 45 GB VRAM ਹੈ, ਜੋ ਮੈਮੋਰੀ-ਬਾਊਂਡ ਵਰਕਲੋਡ ਲਈ ਆਮ ਖਪਤਕਾਰ GPU ਨਾਲੋਂ ਵੱਧ ਮੈਮੋਰੀ ਹੈੱਡਰੂਮ ਦਿੰਦਾ ਹੈ। ਪਰ ਇਸਦੀ ਲਗਭਗ 536 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ HBM ਮੈਮੋਰੀ ਵਾਲੇ ਉੱਚ-ਦਰਜੇ ਦੇ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲੋਂ ਘੱਟ ਹੈ।
ONIE 'ਤੇ A40 ਲਈ ਕਿਹੜੇ ਸਾਫਟਵੇਅਰ ਵਾਤਾਵਰਣ ਉਪਲਬਧ ਹਨ?
A40 CUDA compute capability 8.6 ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਡਿਪਲੌਏ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਲੋੜ ਅਨੁਸਾਰ ਆਪਣੇ ਸਾਫਟਵੇਅਰ ਸਟੈਕ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਕਰਨ ਲਈ ਪੂਰੀ SSH ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ।
A40 ਇੰਸਟੈਂਸਾਂ ਦੀ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE ਸਾਰੇ A40 ਕਿਰਾਏ ਲਈ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦਾ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਦਾ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ ਇੰਸਟੈਂਸ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਛੋਟੇ ਪ੍ਰਯੋਗਾਂ ਅਤੇ ਲੰਬੇ ਪ੍ਰੋਡਕਸ਼ਨ ਰਨ ਦੋਵਾਂ ਲਈ ਵਿਹਾਰਕ ਹੈ।
A40 ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
A40 ਕਿਰਾਏ ’ਤੇ ਲਓ