ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA A100 PCIE GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA A100 PCIE ਇੱਕ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜੋ Ampere ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਬਣਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ 40 GB VRAM ਅਤੇ 250 W ਪਾਵਰ ਸੀਮਾ ਹੈ। ਇਹ ਲਗਭਗ 15.6 TFLOPS ਮਿਆਰੀ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਕੰਪਿਊਟ ਅਤੇ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ, ਅਤੇ CUDA compute capability 8.0 ਨੂੰ ਸਹਿਯੋਗ ਦਿੰਦਾ ਹੈ। ONIE 'ਤੇ, ਤੁਸੀਂ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, SSH ਪਹੁੰਚ, ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਇਹ ਹਾਰਡਵੇਅਰ ਕਿਰਾਏ 'ਤੇ ਲੈ ਸਕਦੇ ਹੋ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
A100 PCIE ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
Large Language Model ਇਨਫਰੈਂਸ
vLLM ਜਾਂ Ollama ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਭਾਸ਼ਾ ਮਾਡਲ ਸਰਵ ਕਰੋ, ਟੋਕਨ ਜਨਰੇਸ਼ਨ ਲਈ 40 GB VRAM ਸਮਰੱਥਾ ਅਤੇ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦਾ ਲਾਭ ਉਠਾਓ।
Deep Learning ਫਾਈਨ-ਟਿਊਨਿੰਗ
Ampere ਡੇਟਾਸੈਂਟਰ ਆਰਕੀਟੈਕਚਰ 'ਤੇ, ਕੰਪਿਊਟ ਕੈਪੇਬਿਲਿਟੀ 8.0 ਨਾਲ, PyTorch/CUDA ਵਿੱਚ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜੌਬ ਚਲਾਓ।
ਹਾਈ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਇਮੇਜ ਜਨਰੇਸ਼ਨ
ComfyUI ਵਿੱਚ ਗੁੰਝਲਦਾਰ diffusion ਵਰਕਫਲੋ ਚਲਾਓ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਖਪਤਕਾਰ ਕਾਰਡਾਂ ਨਾਲੋਂ ਵੱਧ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਵਿਗਿਆਨਕ ਅਤੇ ਡੇਟਾ ਕੰਪਿਊਟਿੰਗ
ਲਗਭਗ 15.6 TFLOPS ਕੰਪਿਊਟ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮੈਮੋਰੀ-ਗਹਿਰੇ ਸਿਮੂਲੇਸ਼ਨ ਅਤੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੰਮ ਪ੍ਰੋਸੈਸ ਕਰੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਵਰਕਲੋਡ ਖਪਤਕਾਰ GPU ਦੀਆਂ ਮੈਮੋਰੀ ਸੀਮਾਵਾਂ ਤੋਂ ਵੱਧ ਜਾਣ ਅਤੇ ਉੱਚ-ਬੈਂਡਵਿਡਥ ਡੇਟਾਸੈਂਟਰ ਹਾਰਡਵੇਅਰ ਦੀ ਲੋੜ ਹੋਵੇ, ਤਾਂ A100 PCIE 40 GB ਚੁਣੋ। ਹਲਕੀ ਇਨਫਰੈਂਸ ਲਈ ਛੋਟਾ ਖਪਤਕਾਰ GPU ਚੁਣੋ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਅਨਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲ ਜਾਂ ਬੈਚ ਸਾਈਜ਼ 40 GB ਤੋਂ ਵੱਧ ਹਨ, ਤਾਂ ਉੱਚ VRAM ਵਾਲੇ ਡੇਟਾਸੈਂਟਰ ਮਾਡਲ ਵੱਲ ਜਾਓ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ A100 PCIE LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 40 GB VRAM ਅਤੇ ਲਗਭਗ 1313 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਦਰਮਿਆਨੇ ਤੋਂ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਹੋਸਟ ਕਰਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀ ਹੈ, ਜੋ ਖਪਤਕਾਰ ਕਾਰਡਾਂ ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦੇ। ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ vLLM, Ollama, ਜਾਂ PyTorch/CUDA ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੁਸੀਂ ਵਰਕਲੋਡ ਤੇਜ਼ੀ ਨਾਲ ਡਿਪਲੋਏ ਕਰ ਸਕਦੇ ਹੋ।
40 GB A100 PCIE ਹੋਰ GPU ਸ਼੍ਰੇਣੀਆਂ ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਹੈ?
ਇੱਕ ਡੇਟਾਸੈਂਟਰ Ampere ਕਾਰਡ ਹੋਣ ਦੇ ਨਾਤੇ, ਇਹ ਮਿਆਰੀ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਖਪਤਕਾਰ GPU ਨਾਲੋਂ ਕਾਫ਼ੀ ਉੱਚੀ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਅਤੇ VRAM ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਜੇ ਤੁਹਾਡੀ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਇਨਫਰੈਂਸ ਪਾਈਪਲਾਈਨ ਨੂੰ ਹੋਰ ਵੀ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇੱਕ ਵੱਡਾ ਡੇਟਾਸੈਂਟਰ GPU ਵੇਰੀਐਂਟ ਵਿਚਾਰਨਾ ਚਾਹੀਦਾ ਹੈ।
ONIE 'ਤੇ ਮੈਂ ਆਪਣੇ ਇੰਸਟੈਂਸ ਨਾਲ ਕਿਵੇਂ ਜੁੜਾਂ ਅਤੇ ਉਸਨੂੰ ਕਿਵੇਂ ਸੰਰਚਿਤ ਕਰਾਂ?
ਹਰ ਕਿਰਾਏ ਵਿੱਚ ਸਿੱਧੇ ਕਮਾਂਡ-ਲਾਈਨ ਪ੍ਰਬੰਧਨ ਲਈ ਪੂਰੀ SSH ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ। ਤੁਸੀਂ PyTorch/CUDA, vLLM, Ollama, ਜਾਂ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਆਪਣਾ ਇੰਸਟੈਂਸ ਲਾਂਚ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਤੁਰੰਤ ਕੰਮ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
A100 PCIE ਲਈ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE 'ਤੇ ਇੰਸਟੈਂਸ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਸਮੇਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ ਡੇਟਾਸੈਂਟਰ GPU ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ।
A100 PCIE ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
A100 PCIE ਕਿਰਾਏ ’ਤੇ ਲਓ