ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA Tesla V100 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
NVIDIA Tesla V100 ಎಂಬುದು Volta ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, ಇದರಲ್ಲಿ 16 GB ಹೈ-ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ VRAM ಮತ್ತು 300 W ಥರ್ಮಲ್ ಡಿಸೈನ್ ಪವರ್ ಇದೆ. ಇದು ಸುಮಾರು 12.5 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 780 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ; ಇದರಿಂದ ಮೆಮೊರಿ-ತೀವ್ರ ವೈಜ್ಞಾನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು ಡೀಪ್ ಲರ್ನಿಂಗ್ ಕಾರ್ಯಗಳಿಗೆ ವಿಶ್ವಸನೀಯ ಆಯ್ಕೆಯಾಗಿದೆ. ONIE ನಲ್ಲಿ, ನೀವು ಪ್ರತಿ-ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್, ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ Tesla V100 ಅನ್ನು ನಿಯೋಜಿಸಬಹುದು.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
Tesla V100 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ಸಣ್ಣ LLM ಇನ್ಫರೆನ್ಸ್
Ollama ಅಥವಾ vLLM ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ಅಥವಾ ಚಿಕ್ಕ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಿ, ಸುಮಾರು 780 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನ ಪ್ರಯೋಜನ ಪಡೆಯಿರಿ.
ಡೀಪ್ ಲರ್ನಿಂಗ್ ಪ್ರೋಟೋಟೈಪಿಂಗ್
16 GB VRAM ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 7.0 ಜೊತೆಗೆ PyTorch ನಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳನ್ನು ತರಬೇತಿಗೊಳಿಸಿ ಮತ್ತು ಮೌಲ್ಯೀಕರಿಸಿ.
ಚಿತ್ರ ಉತ್ಪಾದನೆ ಕಾರ್ಯಪ್ರವಾಹಗಳು
ಪೂರ್ವ-ಸ್ಥಾಪಿತ ComfyUI ಟೆಂಪ್ಲೇಟ್‌ಗಳ ಮೂಲಕ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ಉತ್ಪಾದನಾ ಗ್ರಾಫ್‌ಗಳನ್ನು ರನ್ ಮಾಡಿ.
ವೈಜ್ಞಾನಿಕ ಸಿಮ್ಯುಲೇಶನ್ ಮತ್ತು ಕಂಪ್ಯೂಟ್
Volta ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಸುಮಾರು 12.5 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆಯಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್-ಮಿತಿಯ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ಚಲಾಯಿಸಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ಹೊಸ ಡೇಟಾಸೆಂಟರ್ ಹಾರ್ಡ್‌ವೇರ್‌ಗಾಗಿ ಹೆಚ್ಚು ಪಾವತಿಸದೆ, ಸಣ್ಣ-ಮಧ್ಯಮ ಮಾದರಿಗಳು ಮತ್ತು ವೈಜ್ಞಾನಿಕ ಕಾರ್ಯಭಾರಗಳಿಗೆ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬೇಕಾದ ಸಂಶೋಧಕರು ಮತ್ತು ಡೆವಲಪರ್‌ಗಳಿಗೆ 16 GB Tesla V100 ಸೂಕ್ತವಾಗಿದೆ. ಕಡಿಮೆ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವ ಮೂಲ ಅಭಿವೃದ್ಧಿಗೆ ಚಿಕ್ಕ ಗ್ರಾಹಕ GPU ಆಯ್ಕೆಮಾಡಿ; ನಿಮ್ಮ ಮಾದರಿಗಳು 16 GB ಮೀರಿದರೆ ಅಥವಾ ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 7.0 ಮೀರಿದ ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರಲ್ ವೈಶಿಷ್ಟ್ಯಗಳು ಬೇಕಾದರೆ, ದೊಡ್ಡ VRAM ಇರುವ ಹೊಸ ಪೀಳಿಗೆಯ GPU ಗೆ ಬದಲಾಯಿಸಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
16 GB Tesla V100 LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ಗೆ ಸೂಕ್ತವೇ?
16 GB VRAM ಮತ್ತು ಸುಮಾರು 780 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನಿಂದಾಗಿ Tesla V100 ಚಿಕ್ಕ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ಭಾಷಾ ಮಾದರಿಗಳ ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ಗೆ ಸೂಕ್ತವಾಗಿದೆ. 16 GB ಮೆಮೊರಿಗೆ ಹೊಂದದ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗಾಗಿ, ಹೆಚ್ಚಿನ VRAM ಸಾಮರ್ಥ್ಯವಿರುವ GPU ಅನ್ನು ಆಯ್ಕೆಮಾಡಬೇಕು.
ONIE ನಲ್ಲಿ ಯಾವ ಸಾಫ್ಟ್ವೇರ್ ಟೆಂಪ್ಲೇಟ್ಗಳು ಮತ್ತು ಸಂಪರ್ಕ ವಿಧಾನಗಳು ಲಭ್ಯವಿವೆ?
ಪ್ರತಿ Tesla V100 ಇನ್ಸ್ಟೆನ್ಸ್ನಲ್ಲಿ ಕಸ್ಟಮ್ ಕಾನ್ಫಿಗರೇಶನ್ ಮತ್ತು ಕಮಾಂಡ್-ಲೈನ್ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗಾಗಿ ನೇರ SSH ಪ್ರವೇಶ ಸೇರಿದೆ. ತಕ್ಷಣ ಕೆಲಸ ಆರಂಭಿಸಲು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಸಹ ಲಾಂಚ್ ಮಾಡಬಹುದು.
Volta ಆರ್ಕಿಟೆಕ್ಚರ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಹೊಂದಾಣಿಕೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ?
Tesla V100 CUDA ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 7.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ; ಇದು PyTorch ನಂತಹ ಪ್ರಮಾಣಿತ ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳೊಂದಿಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ. ಆದರೆ ಹೊಸ ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿಗಳಲ್ಲಿ ಪರಿಚಯಿಸಲಾದ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಅಗತ್ಯವಿರುವ ಕಾರ್ಯಭಾರಗಳಿಗೆ ಇತ್ತೀಚಿನ GPU ಆರ್ಕಿಟೆಕ್ಚರ್ ಬೇಕಾಗುತ್ತದೆ.
Tesla V100 ಬಾಡಿಗೆಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ONIE ಎಲ್ಲಾ Tesla V100 ಬಾಡಿಗೆಗಳಿಗೆ ಸರಳ ಪ್ರತಿ-ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ; ಇದರಿಂದ ಪ್ರಯೋಗಗಳು ಅಥವಾ ಬ್ಯಾಚ್ ಜಾಬ್‌ಗಳನ್ನು ರನ್ ಮಾಡಿ, ಮುಗಿದ ಬಳಿಕ ಸರ್ವರ್ ಅನ್ನು ಟರ್ಮಿನೇಟ್ ಮಾಡಬಹುದು.
Tesla V100 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
Tesla V100 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ