ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX 2060 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ONIE ನಲ್ಲಿರುವ NVIDIA RTX 2060 ಒಂದು Turing ವಾಸ್ತುಶಿಲ್ಪದ ಗ್ರಾಹಕ GPU ಆಗಿದ್ದು, 12 GB VRAM ಮತ್ತು 130 W TDP ಹೊಂದಿದೆ. ಇದು ಸುಮಾರು 6.5 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 268 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ನೀಡುತ್ತದೆ, CUDA compute capability 7.5 ಜೊತೆಗೆ. ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಲ್ಲಿ SSH ಪ್ರವೇಶ, ಗಂಟೆ ಆಧಾರಿತ ಬಿಲ್ಲಿಂಗ್, ಮತ್ತು PyTorch/CUDA, ComfyUI, Ollama, ಹಾಗೂ vLLM ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಸೇರಿವೆ.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
RTX 2060 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ಪ್ರವೇಶ ಮಟ್ಟದ ಚಿತ್ರ ಉತ್ಪಾದನೆ
12 GB VRAM ಒಳಗೆ ಸುಲಭವಾಗಿ ಹೊಂದುವ ComfyUI ವರ್ಕ್‌ಫ್ಲೋಗಳು ಮತ್ತು ಪ್ರಮಾಣಿತ ಡಿಫ್ಯೂಷನ್ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಿ.
ಸಣ್ಣ LLM ಇನ್‌ಫರೆನ್ಸ್
ಲಘು ಪಠ್ಯ ಉತ್ಪಾದನಾ ಕಾರ್ಯಗಳಿಗಾಗಿ Ollama ಅಥವಾ vLLM ಬಳಸಿ ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ಅಥವಾ ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ನಿಯೋಜಿಸಿ.
PyTorch ಪ್ರೋಟೋಟೈಪಿಂಗ್ ಮತ್ತು ಡೀಬಗ್ಗಿಂಗ್
ದೊಡ್ಡ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳಿಗೆ ಸ್ಕೇಲ್ ಮಾಡುವ ಮೊದಲು Turing ವಾಸ್ತುಶಿಲ್ಪದ ಕಾರ್ಡ್‌ನಲ್ಲಿ CUDA ಕೋಡ್ ಬರೆಯಿರಿ, ಪರೀಕ್ಷಿಸಿ ಮತ್ತು ಡೀಬಗ್ ಮಾಡಿ.
ಸಣ್ಣ ಪ್ರಮಾಣದ ಮಾದರಿ ತರಬೇತಿ
PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್ ಬಳಸಿ ಮಧ್ಯಮ ಗಾತ್ರದ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳು ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ತರಬೇತಿ ಮಾಡಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ಪ್ರವೇಶ ಮಟ್ಟದ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳು ನೀಡುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವಾಗ, ಆದರೆ ಹೊಸ ವಾಸ್ತುಶಿಲ್ಪಗಳ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಥ್ರೂಪುಟ್ ಅಗತ್ಯವಿಲ್ಲದಿದ್ದಾಗ 12 GB RTX 2060 ಆಯ್ಕೆಮಾಡಿ. ಭಾರೀ ತರಬೇತಿಗಾಗಿ ಹೊಸ ಪೀಳಿಗೆಯ ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಗೆ ಅಪ್‌ಗ್ರೇಡ್ ಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ಕಾರ್ಯಕ್ಕೆ ಕನಿಷ್ಠ VRAM ಸಾಕಾದರೆ ಚಿಕ್ಕ GPU ಆಯ್ಕೆಮಾಡಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
RTX 2060 LLM ಇನ್ಫರೆನ್ಸ್ಗೆ ಸೂಕ್ತವೇ?
12 GB VRAM ಮತ್ತು ಸುಮಾರು 268 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನೊಂದಿಗೆ, ಇದು Ollama ಅಥವಾ vLLM ಮೂಲಕ ಸಣ್ಣ ಮತ್ತು ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲದು. ದೊಡ್ಡ ಮಾದರಿಗಳು ಅಥವಾ ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಸೇವೆಗೆ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಮತ್ತು ಹೆಚ್ಚಿನ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಇರುವ GPU ಅಗತ್ಯವಿದೆ.
Turing ವಾಸ್ತುಶಿಲ್ಪವು ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಹೊಂದಾಣಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ?
RTX 2060 CUDA compute capability 7.5 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇದು PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ನಲ್ಲಿ ಸೇರಿರುವ ಪ್ರಮಾಣಿತ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳನ್ನು ಚಲಾಯಿಸುತ್ತದೆ. ನಂತರದ ವಾಸ್ತುಶಿಲ್ಪಗಳಲ್ಲಿ ಪರಿಚಯಿಸಲಾದ ಕೆಲವು ಹೊಸ ಡೇಟಾ ಪ್ರಕಾರಗಳಿಗೆ ಇದರಲ್ಲಿ ಹಾರ್ಡ್‌ವೇರ್ ಬೆಂಬಲವಿಲ್ಲ ಎಂಬುದನ್ನು ಗಮನಿಸಿ.
ಈ 12 GB RTX 2060 ಇತರ ಗ್ರಾಹಕ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?
12 GB ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯದಿಂದ ಕಡಿಮೆ ಮೆಮೊರಿಯ ಗ್ರಾಹಕ ರೂಪಾಂತರಗಳಿಗಿಂತ ದೊಡ್ಡ ಮಾದರಿಗಳು ಮತ್ತು ಬ್ಯಾಚ್ ಗಾತ್ರಗಳನ್ನು ಇಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಆದರೆ ಸುಮಾರು 6.5 TFLOPS ಕಂಪ್ಯೂಟ್ ಹೊಸ ಪೀಳಿಗೆಯ ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ ಸಾಧಾರಣವಾಗಿದೆ.
ONIE ನಲ್ಲಿ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಇನ್ಸ್ಟೆನ್ಸ್ ಪ್ರವೇಶ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ಇನ್ಸ್ಟೆನ್ಸ್ಗಳಿಗೆ ಗಂಟೆ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ನೀವು ನೇರವಾಗಿ SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಬಹುದು ಅಥವಾ PyTorch/CUDA, vLLM, Ollama, ಮತ್ತು ComfyUI ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್ಗಳಿಗೆ ನೇರವಾಗಿ ಪ್ರಾರಂಭಿಸಬಹುದು.
RTX 2060 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
RTX 2060 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ