ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA RTX 2060 GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
ONIE 'ਤੇ NVIDIA RTX 2060 ਇੱਕ Turing-ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਖਪਤਕਾਰ GPU ਹੈ, ਜਿਸ ਵਿੱਚ 12 GB VRAM ਅਤੇ 130 W TDP ਹੈ। ਇਹ ਲਗਭਗ 6.5 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਅਤੇ ਲਗਭਗ 268 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ, ਅਤੇ CUDA compute capability 7.5 ਨਾਲ ਆਉਂਦਾ ਹੈ। ਇੰਸਟੈਂਸਾਂ ਵਿੱਚ SSH ਐਕਸੈੱਸ, ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਅਤੇ PyTorch/CUDA, ComfyUI, Ollama ਅਤੇ vLLM ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਕੌਂਫ਼ਿਗਰ ਕੀਤੇ ਟੈਂਪਲੇਟ ਸ਼ਾਮਲ ਹਨ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
RTX 2060 ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਐਂਟਰੀ-ਲੈਵਲ ਇਮੇਜ ਜਨਰੇਸ਼ਨ
12 GB VRAM ਵਿੱਚ ਆਰਾਮ ਨਾਲ ਫਿੱਟ ਹੋਣ ਵਾਲੇ ComfyUI ਵਰਕਫ਼ਲੋ ਅਤੇ ਮਿਆਰੀ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਚਲਾਓ।
ਕੰਪੈਕਟ ਲੈਂਗਵੇਜ ਮਾਡਲ ਇਨਫ਼ਰੈਂਸ
ਹਲਕੇ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਕੰਮਾਂ ਲਈ Ollama ਜਾਂ vLLM ਰਾਹੀਂ ਕੁਆਂਟਾਈਜ਼ਡ ਜਾਂ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲ ਡਿਪਲੌਏ ਕਰੋ।
PyTorch ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ ਅਤੇ ਡੀਬੱਗਿੰਗ
ਵੱਡੇ ਇੰਸਟੈਂਸਾਂ ਤੱਕ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ Turing ਆਰਕੀਟੈਕਚਰ ਕਾਰਡ 'ਤੇ CUDA ਕੋਡ ਲਿਖੋ, ਟੈਸਟ ਕਰੋ ਅਤੇ ਡੀਬੱਗ ਕਰੋ।
ਛੋਟੇ ਪੈਮਾਨੇ 'ਤੇ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ
PyTorch/CUDA ਟੈਂਪਲੇਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਮੂਲੀ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਅਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਟ੍ਰੇਨ ਕਰੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਕੰਮ ਨੂੰ ਐਂਟਰੀ-ਲੈਵਲ ਖਪਤਕਾਰ ਕਾਰਡਾਂ ਨਾਲੋਂ ਵੱਧ ਮੈਮਰੀ ਚਾਹੀਦੀ ਹੈ ਪਰ ਨਵੀਆਂ ਆਰਕੀਟੈਕਚਰਾਂ ਵਾਂਗ ਉੱਚ ਕੰਪਿਊਟ ਥਰੂਪੁਟ ਦੀ ਲੋੜ ਨਹੀਂ, ਤਾਂ 12 GB RTX 2060 ਚੁਣੋ। ਭਾਰੀ ਟ੍ਰੇਨਿੰਗ ਲਈ ਨਵੀਂ ਪੀੜ੍ਹੀ ਜਾਂ ਵਰਕਸਟੇਸ਼ਨ GPU 'ਤੇ ਜਾਓ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਕੰਮ ਨੂੰ ਘੱਟੋ-ਘੱਟ VRAM ਚਾਹੀਦੀ ਹੈ ਤਾਂ ਛੋਟਾ GPU ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ RTX 2060 LLM ਇਨਫਰੈਂਸ ਲਈ ਢੁਕਵਾਂ ਹੈ?
12 GB VRAM ਅਤੇ ਲਗਭਗ 268 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਨਾਲ, ਇਹ Ollama ਜਾਂ vLLM ਰਾਹੀਂ ਛੋਟੇ ਅਤੇ ਕੁਆਂਟਾਈਜ਼ਡ ਭਾਸ਼ਾ ਮਾਡਲ ਸੰਭਾਲ ਸਕਦਾ ਹੈ। ਵੱਡੇ ਮਾਡਲਾਂ ਜਾਂ ਉੱਚ-ਥਰੂਪੁਟ ਸਰਵਿੰਗ ਲਈ ਵੱਧ ਮੈਮਰੀ ਅਤੇ ਵੱਧ ਬੈਂਡਵਿਡਥ ਵਾਲਾ GPU ਚਾਹੀਦਾ ਹੋਵੇਗਾ।
Turing ਆਰਕੀਟੈਕਚਰ ਕਿਹੜੀ ਸਾਫ਼ਟਵੇਅਰ ਅਨੁਕੂਲਤਾ ਦਿੰਦੀ ਹੈ?
RTX 2060 CUDA compute capability 7.5 ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ, ਜੋ PyTorch/CUDA ਟੈਂਪਲੇਟ ਵਿੱਚ ਸ਼ਾਮਲ ਮਿਆਰੀ ਫ਼ਰੇਮਵਰਕ ਚਲਾਉਂਦਾ ਹੈ। ਧਿਆਨ ਦਿਓ ਕਿ ਇਸ ਵਿੱਚ ਬਾਅਦ ਦੀਆਂ ਆਰਕੀਟੈਕਚਰਾਂ ਵਿੱਚ ਆਏ ਕੁਝ ਨਵੇਂ ਡੇਟਾ ਟਾਈਪਾਂ ਲਈ ਹਾਰਡਵੇਅਰ ਸਪੋਰਟ ਨਹੀਂ ਹੈ।
ਇਹ 12 GB RTX 2060 ਹੋਰ ਖਪਤਕਾਰ GPU ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
12 GB ਮੈਮਰੀ ਸਮਰੱਥਾ ਇਸਨੂੰ ਘੱਟ ਮੈਮਰੀ ਵਾਲੇ ਖਪਤਕਾਰ ਵੇਰੀਐਂਟਾਂ ਨਾਲੋਂ ਵੱਡੇ ਮਾਡਲ ਅਤੇ ਬੈਚ ਸਾਈਜ਼ ਰੱਖਣ ਦਿੰਦੀ ਹੈ, ਹਾਲਾਂਕਿ ਇਸਦਾ ਲਗਭਗ 6.5 TFLOPS ਕੰਪਿਊਟ ਨਵੀਆਂ ਪੀੜ੍ਹੀ ਦੇ ਕਾਰਡਾਂ ਨਾਲੋਂ ਘੱਟ ਹੈ।
ONIE 'ਤੇ ਬਿਲਿੰਗ ਅਤੇ ਇੰਸਟੈਂਸ ਐਕਸੈੱਸ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ?
ਇੰਸਟੈਂਸਾਂ ਦੀ ਬਿਲਿੰਗ ਪ੍ਰਤੀ-ਘੰਟਾ ਆਧਾਰ 'ਤੇ ਹੁੰਦੀ ਹੈ। ਤੁਸੀਂ SSH ਰਾਹੀਂ ਸਿੱਧੇ ਕਨੈਕਟ ਕਰ ਸਕਦੇ ਹੋ ਜਾਂ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਕੌਂਫ਼ਿਗਰ ਕੀਤੇ ਟੈਂਪਲੇਟਾਂ ਵਿੱਚ ਸਿੱਧੇ ਲਾਂਚ ਕਰ ਸਕਦੇ ਹੋ।
RTX 2060 ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
RTX 2060 ਕਿਰਾਏ ’ਤੇ ਲਓ