ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX 3090 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
NVIDIA RTX 3090 ಒಂದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಗ್ರಾಹಕ ಬಳಕೆಯ GPU ಆಗಿದ್ದು, 24 GB VRAM ಮತ್ತು 8.6 ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ. ಇದು 350 W ವಿದ್ಯುತ್ ರೇಟಿಂಗ್‌ನಲ್ಲಿ ಸುಮಾರು 35.4 TFLOPS ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 805 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ನೀವು ಈ GPU ಅನ್ನು ONIE ನಲ್ಲಿ ಪ್ರತಿ ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್, ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ, ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ಹಾಗೂ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಬಹುದು.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
RTX 3090 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ಸ್ಥಳೀಯ ಮಟ್ಟದ LLM ಇನ್ಫರೆನ್ಸ್
ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ 24 GB VRAM ನಲ್ಲಿ ಕ್ವಾಂಟೈಸ್ ಮಾಡಲಾದ ಅಥವಾ ಮಧ್ಯಮ ಗಾತ್ರದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಿ.
ಚಿತ್ರ ಉತ್ಪಾದನೆ ಕಾರ್ಯಪ್ರವಾಹಗಳು
ಹೈ-ರೆಸೊಲ್ಯೂಷನ್ ಚಿತ್ರಗಳನ್ನು ರಚಿಸಲು ComfyUI ಅನ್ನು ನಿಯೋಜಿಸಿ ಮತ್ತು ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಲ್ಲಿ ಮೆಮೊರಿ ಮಿತಿಯನ್ನು ತಲುಪದೆ ಕಸ್ಟಮ್ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ.
ಮಾದರಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ತರಬೇತಿ
PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್ ಬಳಸಿ 24 GB ಮೆಮೊರಿ ವ್ಯಾಪ್ತಿಯೊಳಗೆ ಹೊಂದುವ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ ಮತ್ತು ಸುಮಾರು 805 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಬಳಸಿಕೊಳ್ಳಿ.
ಸಾಮಾನ್ಯ CUDA ಕಂಪ್ಯೂಟ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 8.6 ಗಾಗಿ ಕಂಪೈಲ್ ಮಾಡಲಾದ ಕಸ್ಟಮ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ಸುಮಾರು 35.4 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆಯೊಂದಿಗೆ ಚಲಾಯಿಸಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
RTX 3090 ಅನ್ನು ಗ್ರಾಹಕ ವಿಭಾಗದ Ampere ಕಾರ್ಡ್‌ನಲ್ಲಿ ಮೆಮೊರಿ-ತೀವ್ರ ಕಾರ್ಯಗಳಿಗಾಗಿ 24 GB VRAM ಬೇಕಾಗುವ ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಸಂಶೋಧಕರಿಗೆ ಇದು ಸೂಕ್ತವಾಗಿದೆ. ಕಡಿಮೆ ಮೆಮೊರಿ ಬೇಕಾಗುವ ಲಘು ಇನ್‌ಫರೆನ್ಸ್‌ಗಾಗಿ ಚಿಕ್ಕ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ಮಾದರಿಗಳು 24 GB VRAM ಮೀರಿದರೆ ಅಥವಾ ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರ್ ವೈಶಿಷ್ಟ್ಯಗಳ ಅಗತ್ಯವಿದ್ದರೆ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ GPU ಗೆ ಮೇಲ್ದರ್ಜೆಗೇರಿಸಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
RTX 3090 LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ಗೆ ಸೂಕ್ತವೇ?
ಹೌದು, ಇದರ 24 GB VRAM ಮತ್ತು ಸುಮಾರು 805 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನಿಂದಾಗಿ ಇದು ಅನೇಕ ಓಪನ್-ವೇಟ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಸಮರ್ಥವಾಗಿದೆ. ತಕ್ಷಣ ಕೆಲಸ ಆರಂಭಿಸಲು ONIE ನಲ್ಲಿ ನೇರವಾಗಿ vLLM, Ollama, ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು.
RTX 3090 ಚಿಕ್ಕ ಅಥವಾ ದೊಡ್ಡ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?
24 GB VRAM ನೊಂದಿಗೆ, RTX 3090 ಕೆಳಮಟ್ಟದ ಗ್ರಾಹಕ ಕಾರ್ಡ್ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಮಾದರಿ ತೂಕಗಳು ಮತ್ತು ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಹಿಡಿದಿಡಬಲ್ಲದು. ಆದರೆ, ನಿಮ್ಮ ಕಾರ್ಯಭಾರಕ್ಕೆ 24 GB ಗಿಂತ ಹೆಚ್ಚು ಮೆಮೊರಿ ಅಥವಾ ಸುಮಾರು 35.4 TFLOPS ಗಿಂತ ಹೆಚ್ಚಿನ ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಬೇಕಾದರೆ, ನೀವು ಹೊಸ ಪೀಳಿಗೆಯ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ ವಿಭಾಗದ GPU ಅನ್ನು ಪರಿಗಣಿಸಬೇಕು.
ನನ್ನ RTX 3090 ಇನ್ಸ್ಟೆನ್ಸ್ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಯಾವ ಸಾಫ್ಟ್ವೇರ್ ಸೇರಿದೆ?
ನೀವು SSH ಪ್ರವೇಶದ ಮೂಲಕ ನೇರವಾಗಿ ನಿಮ್ಮ ಇನ್ಸ್ಟೆನ್ಸ್ಗೆ ಸಂಪರ್ಕಿಸಬಹುದು. ಸಾಫ್ಟ್ವೇರ್ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಕೈಯಿಂದ ಕಾನ್ಫಿಗರ್ ಮಾಡುವ ಅಗತ್ಯವಿಲ್ಲದಂತೆ ONIE PyTorch/CUDA, vLLM, Ollama, ಮತ್ತು ComfyUI ಗಾಗಿ ಬಳಕೆಗೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ONIE ನಲ್ಲಿ RTX 3090 ಗಾಗಿ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ಇನ್ಸ್ಟೆನ್ಸ್ಗಳಿಗೆ ಪ್ರತಿ ಗಂಟೆ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ನಿಮ್ಮ GPU ಇನ್ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.
RTX 3090 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
RTX 3090 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ