ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA RTX 2080 Ti GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA RTX 2080 Ti ਇੱਕ Turing ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਕੰਜ਼ਿਊਮਰ GPU ਹੈ ਜੋ ONIE 'ਤੇ ਔਨ-ਡਿਮਾਂਡ ਕਿਰਾਏ 'ਤੇ ਉਪਲਬਧ ਹੈ। ਇਸ ਵਿੱਚ 11 GB VRAM ਅਤੇ ਲਗਭਗ 501 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਹੈ, ਅਤੇ ਲਗਭਗ 14.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਹੈ। 250 W TDP ਅਤੇ compute capability 7.5 ਨਾਲ, ਇਹ ਹਲਕੇ machine learning, inference ਅਤੇ graphics ਵਰਕਲੋਡ ਸੰਭਾਲਦਾ ਹੈ, ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਨਾਲ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
RTX 2080 Ti ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਕੁਆਂਟਾਈਜ਼ਡ LLM Inference
Ollama ਜਾਂ vLLM ਦੇ ਤਿਆਰ ਟੈਂਪਲੇਟ ਵਰਤ ਕੇ 11 GB VRAM ਵਿੱਚ ਫਿੱਟ ਹੋਣ ਵਾਲੇ ਛੋਟੇ ਜਾਂ ਕੁਆਂਟਾਈਜ਼ਡ ਭਾਸ਼ਾ ਮਾਡਲ ਚਲਾਓ।
ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਵਰਕਫਲੋ
ਤਸਵੀਰਾਂ ਬਣਾਉਣ ਅਤੇ diffusion pipelines ਟੈਸਟ ਕਰਨ ਲਈ ComfyUI ਡਿਪਲੌਏ ਕਰੋ, ਜੋ 11 GB ਮੈਮਰੀ ਦੇ ਅੰਦਰ ਆਰਾਮ ਨਾਲ ਚੱਲਦੇ ਹਨ।
ਡੀਪ ਲਰਨਿੰਗ ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ
ਵੱਡੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ compute capability 7.5 ਵਾਲੇ Turing GPU 'ਤੇ PyTorch ਅਤੇ CUDA ਕੋਡ ਲਿਖੋ, ਡੀਬੱਗ ਕਰੋ ਅਤੇ ਟੈਸਟ ਕਰੋ।
ਬੈਚ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ
GPU-ਐਕਸਲਰੇਟਿਡ ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਰੈਂਡਰਿੰਗ ਲਈ ਲਗਭਗ 14.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਲਗਭਗ 501 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਵਰਤੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਵਿਕਾਸ, ਛੋਟੇ ਮਾਡਲਾਂ 'ਤੇ inference ਅਤੇ 11 GB VRAM ਵਿੱਚ ਫਿੱਟ ਹੋਣ ਵਾਲੇ ਦਰਮਿਆਨੇ training ਕਾਰਜਾਂ ਲਈ RTX 2080 Ti ਚੁਣੋ। ਵੱਡੇ ਪੈਮਾਨੇ ਦੀ training ਜਾਂ ਅਣ-ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲਾਂ ਲਈ ਵਧੇਰੇ ਮੈਮਰੀ ਅਤੇ ਨਵੀਂ ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ GPU ਚੁਣੋ, ਜਾਂ ਬੁਨਿਆਦੀ ਡੀਬੱਗਿੰਗ ਲਈ ਛੋਟਾ ਕੰਜ਼ਿਊਮਰ ਕਾਰਡ ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ RTX 2080 Ti LLM inference ਅਤੇ ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, ਇਸ ਦੀ 11 GB VRAM ਅਤੇ ਲਗਭਗ 501 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਛੋਟੇ ਜਾਂ ਕੁਆਂਟਾਈਜ਼ਡ ਭਾਸ਼ਾ ਮਾਡਲ ਅਤੇ ਮਿਆਰੀ diffusion ਮਾਡਲ ਚਲਾ ਸਕਦੀ ਹੈ। ਜੋ ਮਾਡਲ 11 GB ਤੋਂ ਵੱਡੇ ਹਨ ਜਾਂ compute capability 7.5 ਤੋਂ ਅੱਗੇ ਨਵੀਂ ਆਰਕੀਟੈਕਚਰ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਮੰਗਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਲਈ ਵਧੇਰੇ ਮੈਮਰੀ ਵਾਲਾ GPU ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਬਾਰੇ ਵਿਚਾਰ ਕਰੋ।
ਮੈਂ ਇਹ GPU ਕਿਰਾਏ 'ਤੇ ਲੈਣ 'ਤੇ ਕਿਹੜੇ ਸਾਫਟਵੇਅਰ ਵਾਤਾਵਰਣ ਉਪਲਬਧ ਹੁੰਦੇ ਹਨ?
ਤੁਹਾਨੂੰ ਆਪਣੇ instance ਤੱਕ ਪੂਰੀ SSH ਪਹੁੰਚ ਮਿਲਦੀ ਹੈ ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਸਮੇਤ ਤਿਆਰ ਟੈਂਪਲੇਟ ਲਾਂਚ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਕਾਰਡ compute capability 7.5 ਨਾਲ ਅਨੁਕੂਲ CUDA ਵਰਕਲੋਡ ਸਪੋਰਟ ਕਰਦਾ ਹੈ।
RTX 2080 Ti ਨਵੇਂ ਜਾਂ ਵੱਡੇ GPUs ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਹੈ?
Turing ਪੀੜ੍ਹੀ ਦਾ ਕੰਜ਼ਿਊਮਰ ਕਾਰਡ ਹੋਣ ਦੇ ਨਾਤੇ, ਜਿਸ ਵਿੱਚ 11 GB VRAM ਅਤੇ ਲਗਭਗ 14.6 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਹੈ, ਇਹ ਐਂਟਰੀ-ਲੈਵਲ ਕੰਜ਼ਿਊਮਰ GPUs ਨਾਲੋਂ ਵਧੇਰੇ ਮੈਮਰੀ ਦਿੰਦਾ ਹੈ। ਪਰ ਭਾਰੀ training ਕੰਮਾਂ ਲਈ ਨਵੀਆਂ ਪੀੜ੍ਹੀਆਂ ਦੇ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਡੇਟਾ ਸੈਂਟਰ GPUs ਵਧੇਰੇ VRAM ਅਤੇ ਉੱਚੀ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦੇ ਹਨ।
ONIE 'ਤੇ RTX 2080 Ti instances ਦੀ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE 'ਤੇ instances ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦੇ ਹਨ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਦਾ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ GPU ਸਰਵਰ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ।
RTX 2080 Ti ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
RTX 2080 Ti ਕਿਰਾਏ ’ਤੇ ਲਓ