ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA A800 PCIE GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA A800 PCIE ਇੱਕ Ampere ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜਿਸ ਵਿੱਚ 80 GB VRAM ਹੈ। ਇਹ 300 W ਪਾਵਰ ਸੀਮਾ ਅੰਦਰ ਲਗਭਗ 1598 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਅਤੇ ਲਗਭਗ 15.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਪ੍ਰਦਰਸ਼ਨ ਦਿੰਦਾ ਹੈ। ONIE 'ਤੇ, ਤੁਸੀਂ ਇਸ ਕਾਰਡ ਨੂੰ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਪੂਰੀ SSH ਪਹੁੰਚ, ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਮਪਲੇਟਾਂ ਨਾਲ ਡਿਪਲੌਏ ਕਰ ਸਕਦੇ ਹੋ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
A800 PCIE ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
LLM ਇਨਫਰੈਂਸ
ਪਹਿਲਾਂ ਤੋਂ ਕੌਂਫਿਗਰ ਕੀਤੇ vLLM ਜਾਂ Ollama ਟੈਮਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ 80 GB VRAM ਬਫਰ ਵਿੱਚ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਹੋਸਟ ਕਰੋ।
ਡੀਪ ਲਰਨਿੰਗ ਫਾਈਨ-ਟਿਊਨਿੰਗ
PyTorch/CUDA ਵਿੱਚ ਵੱਡੇ ਬੈਚ ਸਾਈਜ਼ ਅਤੇ ਲੰਬੀਆਂ context ਵਿੰਡੋਜ਼ ਨਾਲ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ, ਬਿਨਾਂ ਮੈਮੋਰੀ ਰੁਕਾਵਟਾਂ ਦਾ ਸਾਹਮਣਾ ਕੀਤੇ।
ਉੱਚ-ਥਰੂਪੁਟ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ
ਡੇਟਾ-ਗਹਿਰੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਵਰਕਲੋਡ ਅਤੇ ਐਮਬੈਡਿੰਗਾਂ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਲਗਭਗ 1598 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਜਟਿਲ ਜਨਰੇਟਿਵ ਵਰਕਫਲੋ
ComfyUI ਵਿੱਚ ਮਲਟੀ-ਮਾਡਲ ਡਿਫਿਊਜ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਚਲਾਓ, ਅਤੇ ਇੱਕੋ ਸਮੇਂ ਕਈ ਚੈੱਕਪੌਇੰਟ ਮੈਮੋਰੀ ਵਿੱਚ ਲੋਡ ਰੱਖੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੀ ਮੁੱਖ ਲੋੜ ਕੱਚੀ ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਦੀ ਬਜਾਏ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ AI ਮਾਡਲਾਂ ਲਈ 80 GB ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਹੈ, ਤਾਂ A800 PCIE ਚੁਣੋ। ਜੇ ਤੁਹਾਡਾ ਵਰਕਲੋਡ ਛੋਟੇ ਮੈਮੋਰੀ ਫੁੱਟਪ੍ਰਿੰਟ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਘੱਟ VRAM ਵਾਲਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਕੰਜ਼ਿਊਮਰ GPU ਵਧੇਰੇ ਢੁਕਵਾਂ ਹੈ, ਜਦਕਿ ਕੰਪਿਊਟ-ਬਾਊਂਡ ਕੰਮ ਨਵੀਂ ਪੀੜ੍ਹੀ ਦੇ ਡੇਟਾਸੈਂਟਰ ਆਰਕੀਟੈਕਚਰਾਂ ਤੋਂ ਲਾਭ ਲੈ ਸਕਦੇ ਹਨ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ NVIDIA A800 PCIE LLM ਵਰਕਲੋਡਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸਦੀ 80 GB VRAM ਅਤੇ ਲਗਭਗ 1598 GB/s ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਇਸਨੂੰ ਉਹਨਾਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਸਰਵ ਕਰਨ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀ ਹੈ ਜੋ ਸਟੈਂਡਰਡ ਕੰਜ਼ਿਊਮਰ ਕਾਰਡਾਂ ਦੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਹਨ। ਇਹ ਆਧੁਨਿਕ AI ਫਰੇਮਵਰਕਾਂ ਨਾਲ ਵਿਆਪਕ ਅਨੁਕੂਲਤਾ ਲਈ CUDA compute capability 8.0 ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ।
ਇਹ GPU ਛੋਟੇ ਜਾਂ ਨਵੇਂ ਡੇਟਾਸੈਂਟਰ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਹੈ?
A800 PCIE, Ampere ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਵੱਡਾ 80 GB ਮੈਮੋਰੀ ਪੂਲ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਕਰਕੇ ਇਹ ਘੱਟ ਸਮਰੱਥਾ ਵਾਲੇ ਕਾਰਡਾਂ ਦੇ ਮੁਕਾਬਲੇ ਮੈਮੋਰੀ-ਬਾਊਂਡ ਕੰਮਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ। ਹਾਲਾਂਕਿ, ਲਗਭਗ 15.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ, ਜਿਹੜੇ ਵਰਕਲੋਡ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਦੀ ਬਜਾਏ ਕੱਚੀ ਕੰਪਿਊਟ 'ਤੇ ਭਾਰੀ ਨਿਰਭਰ ਕਰਦੇ ਹਨ, ਉਹ ਨਵੀਆਂ ਆਰਕੀਟੈਕਚਰ ਪੀੜ੍ਹੀਆਂ 'ਤੇ ਤੇਜ਼ ਚੱਲ ਸਕਦੇ ਹਨ।
ਮੈਂ ਆਪਣੇ A800 PCIE ਇੰਸਟੈਂਸ ਨਾਲ ਕਿਵੇਂ ਜੁੜਾਂ ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਕੌਂਫਿਗਰ ਕਰਾਂ?
ONIE 'ਤੇ ਹਰ ਇੰਸਟੈਂਸ ਵਿੱਚ ਤੁਹਾਡੇ ਵਾਤਾਵਰਣ 'ਤੇ ਪੂਰੇ ਕੰਟਰੋਲ ਲਈ ਸਿੱਧੀ SSH ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ। ਤੁਸੀਂ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਮਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੁਰੰਤ ਸ਼ੁਰੂ ਵੀ ਕਰ ਸਕਦੇ ਹੋ।
A800 PCIE ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਦੀ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE ਸਾਰੇ GPU ਇੰਸਟੈਂਸਾਂ ਲਈ ਸਿੱਧੀ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦਾ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ ਇੰਸਟੈਂਸ ਐਕਟਿਵ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਲੋੜ ਅਨੁਸਾਰ ਆਪਣੇ ਡੇਟਾਸੈਂਟਰ ਕੰਪਿਊਟ ਵਰਤੋਂ ਨੂੰ ਸਕੇਲ ਕਰ ਸਕਦੇ ਹੋ।
A800 PCIE ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
A800 PCIE ਕਿਰਾਏ ’ਤੇ ਲਓ