ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX 2080 Ti GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
NVIDIA RTX 2080 Ti ಎಂಬುದು ONIE ನಲ್ಲಿ ಬೇಡಿಕೆಯ ಮೇರೆಗೆ ಬಾಡಿಗೆಗೆ ಲಭ್ಯವಿರುವ Turing ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಗ್ರಾಹಕ GPU ಆಗಿದೆ. ಇದು 11 GB VRAM ಮತ್ತು ಸುಮಾರು 501 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಅನ್ನು ಹೊಂದಿದ್ದು, ಸುಮಾರು 14.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ. 250 W TDP ಮತ್ತು compute capability 7.5 ಹೊಂದಿರುವ ಇದು, ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್‌ನೊಂದಿಗೆ ಹಗುರ ಮಷೀನ್ ಲರ್ನಿಂಗ್, ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಗ್ರಾಫಿಕ್ಸ್ ಕೆಲಸಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
RTX 2080 Ti ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ಕ್ವಾಂಟೈಸ್ಡ್ LLM ಇನ್ಫರೆನ್ಸ್
ಸಿದ್ಧ Ollama ಅಥವಾ vLLM ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿಕೊಂಡು 11 GB VRAM ಒಳಗೆ ಹೊಂದುವ ಸಣ್ಣ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.
ಇಮೇಜ್ ಜನರೇಶನ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು
ಚಿತ್ರಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು 11 GB ಮೆಮೊರಿ ಮಿತಿಯೊಳಗೆ ಸುಲಭವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ComfyUI ಅನ್ನು ನಿಯೋಜಿಸಿ.
ಡೀಪ್ ಲರ್ನಿಂಗ್ ಪ್ರೊಟೋಟೈಪಿಂಗ್
ದೊಡ್ಡ ಹಾರ್ಡ್‌ವೇರ್‌ಗೆ ವಿಸ್ತರಿಸುವ ಮೊದಲು, compute capability 7.5 ಹೊಂದಿರುವ Turing GPU ಮೇಲೆ PyTorch ಮತ್ತು CUDA ಕೋಡ್ ಬರೆಯಿರಿ, ಡೀಬಗ್ ಮಾಡಿ ಮತ್ತು ಪರೀಕ್ಷಿಸಿ.
ಬ್ಯಾಚ್ ಡೇಟಾ ಪ್ರೊಸೆಸಿಂಗ್
GPU-ವೇಗವರ್ಧಿತ ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ರೆಂಡರಿಂಗ್‌ಗಾಗಿ ಸುಮಾರು 14.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 501 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಬಳಸಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ಅಭಿವೃದ್ಧಿ, ಸಣ್ಣ ಮಾದರಿಗಳ ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು 11 GB VRAM ಒಳಗೆ ಹೊಂದುವ ಮಧ್ಯಮ ತರಬೇತಿ ಕಾರ್ಯಗಳಿಗಾಗಿ RTX 2080 Ti ಆಯ್ಕೆಮಾಡಿ. ದೊಡ್ಡ ಪ್ರಮಾಣದ ತರಬೇತಿ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ ಆಗದ ಮಾದರಿಗಳಿಗೆ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಮತ್ತು ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರ್ ಇರುವ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ಮೂಲಭೂತ ಡೀಬಗ್ಗಿಂಗ್‌ಗಾಗಿ ಚಿಕ್ಕ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗೆ ಬದಲಿಸಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
RTX 2080 Ti LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಇಮೇಜ್ ಜನರೇಶನ್ಗೆ ಸೂಕ್ತವೇ?
ಹೌದು, ಇದರ 11 GB VRAM ಮತ್ತು ಸುಮಾರು 501 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಸಣ್ಣ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳು ಮತ್ತು ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಡಿಫ್ಯೂಷನ್ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಬಲ್ಲವು. 11 GB ಮೀರುವ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ಅಥವಾ compute capability 7.5 ನ ಆಚೆಗಿನ ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರ್ ಫೀಚರ್ಗಳು ಬೇಕಾದರೆ, ಹೆಚ್ಚಿನ ಮೆಮೊರಿಯ GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯುವುದನ್ನು ಪರಿಗಣಿಸಿ.
ಈ GPU ಬಾಡಿಗೆಗೆ ಪಡೆದಾಗ ಯಾವ ಸಾಫ್ಟ್ವೇರ್ ಪರಿಸರಗಳು ಲಭ್ಯವಿವೆ?
ನಿಮ್ಮ ಇನ್ಸ್ಟೆನ್ಸ್ಗೆ ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸಿಗುತ್ತದೆ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು. ಈ ಕಾರ್ಡ್ compute capability 7.5 ಗೆ ಹೊಂದಿಕೆಯಾಗುವ CUDA ವರ್ಕ್ಲೋಡ್ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
RTX 2080 Ti ಹೊಸ ಅಥವಾ ದೊಡ್ಡ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?
11 GB VRAM ಮತ್ತು ಸುಮಾರು 14.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಹೊಂದಿರುವ Turing ತಲೆಮಾರಿನ ಗ್ರಾಹಕ ಕಾರ್ಡ್ ಆಗಿ, ಇದು ಆರಂಭಿಕ ಹಂತದ ಗ್ರಾಹಕ GPU ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿಯನ್ನು ನೀಡುತ್ತದೆ. ಆದರೆ ಹೊಸ ತಲೆಮಾರಿನ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳು ಭಾರೀ ತರಬೇತಿ ಕೆಲಸಗಳಿಗಾಗಿ ಹೆಚ್ಚಿನ VRAM ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಒದಗಿಸುತ್ತವೆ.
ONIE ನಲ್ಲಿ RTX 2080 Ti ಇನ್ಸ್ಟೆನ್ಸ್ಗಳ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ONIE ನಲ್ಲಿರುವ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳು ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ GPU ಸರ್ವರ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.
RTX 2080 Ti ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
RTX 2080 Ti ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ