ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA Tesla P40 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
NVIDIA Tesla P40 ಒಂದು Pascal ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, 24 GB VRAM ಮತ್ತು compute capability 6.1 ಹೊಂದಿದೆ. ಇದು 250 W ಉಷ್ಣ ಮಿತಿಯೊಳಗೆ ಸುಮಾರು 9.4 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 257 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ONIE ನಲ್ಲಿ, ನೀವು ಈ GPU ಅನ್ನು ಪ್ರತಿ ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್, SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಹಾಗೂ ComfyUI ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಬಹುದು.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
Tesla P40 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ಕ್ವಾಂಟೈಸ್ಡ್ LLM ಇನ್‌ಫರೆನ್ಸ್
Ollama ಅಥವಾ vLLM ನಂತಹ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ 24 GB ವರೆಗೆ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವ ಸ್ಥಳೀಯ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.
ಚಿತ್ರ ಉತ್ಪಾದನಾ ಕಾರ್ಯಪ್ರವಾಹಗಳು
ಬಹು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು ಮತ್ತು control nets ಲೋಡ್ ಮಾಡಲು ಉದಾರ VRAM ಸಾಮರ್ಥ್ಯದಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ComfyUI ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಿ.
ಹಳೆಯ CUDA ಅಭಿವೃದ್ಧಿ
Pascal ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು compute capability 6.1 ಗುರಿಯಾಗಿರುವ PyTorch/CUDA ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿ, ಪರೀಕ್ಷಿಸಿ ಮತ್ತು ನಿರ್ವಹಿಸಿ.
ಮೆಮೊರಿ-ಬೌಂಡ್ ಬ್ಯಾಚ್ ಪ್ರಕ್ರಿಯೆ
ಕಚ್ಚಾ ಕಂಪ್ಯೂಟ್ ವೇಗಕ್ಕಿಂತ 24 GB VRAM ನಲ್ಲಿ ದೊಡ್ಡ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಹೊಂದಿಸಲು ಆದ್ಯತೆ ನೀಡುವ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ನಿಮ್ಮ ಪ್ರಾಥಮಿಕ ಅವಶ್ಯಕತೆ ಮೆಮೊರಿ-ಹಸಿದ ಇನ್‌ಫರೆನ್ಸ್ ಅಥವಾ ಅಭಿವೃದ್ಧಿ ಕಾರ್ಯಗಳಿಗೆ 24 GB VRAM ಆಗಿದ್ದು, ಹಳೆಯ Pascal ಕಂಪ್ಯೂಟ್ ಸಾಕಾಗುವಲ್ಲಿ Tesla P40 ಆಯ್ಕೆಮಾಡಿ. ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಅಥವಾ ಭಾರೀ ತರಬೇತಿಗಾಗಿ ಆಧುನಿಕ ಟೆನ್ಸರ್ ವೇಗವರ್ಧನೆ ಬೇಕಾದರೆ ಹೊಸ ಅಥವಾ ದೊಡ್ಡ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ಕಾರ್ಯಭಾರ ಕಡಿಮೆ ಮೆಮೊರಿ ಬಳಸಿದರೆ ಚಿಕ್ಕ GPU ಆಯ್ಕೆಮಾಡಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
Tesla P40 ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಲು ಸೂಕ್ತವೇ?
24 GB VRAM ಸಾಮರ್ಥ್ಯದಿಂದಾಗಿ Tesla P40 Ollama ನಂತಹ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ ಮಧ್ಯಮ ಗಾತ್ರದ, ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿ ಹಿಡಿದಿಡಬಹುದು. ಆದರೆ ಇದರ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಸುಮಾರು 257 GB/s ಆಗಿದ್ದು ಹಳೆಯ Pascal ಆರ್ಕಿಟೆಕ್ಚರ್ ಬಳಸುವುದರಿಂದ, ಟೋಕನ್ ಉತ್ಪಾದನೆ ಹೊಸ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗಿಂತ ನಿಧಾನವಾಗಿರುತ್ತದೆ.
6.1 compute capability ಜೊತೆಗೆ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಹೊಂದಾಣಿಕೆಯನ್ನು ನಿರೀಕ್ಷಿಸಬಹುದು?
Compute capability 6.1 ಸುಮಾರು 9.4 TFLOPS ನಲ್ಲಿ ಪ್ರಮಾಣಿತ ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇದು ಸಾಮಾನ್ಯ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಹೊಸ ಹಾರ್ಡ್‌ವೇರ್ ಸೂಚನೆಗಳ ಅಗತ್ಯವಿರುವ ಕೆಲವು ಆಧುನಿಕ ಯಂತ್ರ ಕಲಿಕಾ ಲೈಬ್ರರಿಗಳು ಅಥವಾ ವೈಶಿಷ್ಟ್ಯಗಳು Pascal ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ ಚಲಿಸದೇ ಇರಬಹುದು.
ONIE ನಲ್ಲಿ ನನ್ನ Tesla P40 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಸೆಟ್ ಅಪ್ ಮಾಡುವುದು?
PyTorch/CUDA, vLLM, Ollama ಅಥವಾ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ ನೀವು ಇನ್ಸ್ಟೆನ್ಸ್ ಅನ್ನು ನಿಯೋಜಿಸಬಹುದು. ನೇರ SSH ಪ್ರವೇಶ ಸೇರಿಸಲಾಗಿದ್ದು, ನಿಮ್ಮ ಟರ್ಮಿನಲ್‌ನಿಂದ ಫೈಲ್‌ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ಪರಿಸರಗಳನ್ನು ನಿರ್ವಹಿಸಬಹುದು.
Tesla P40 ಬಾಡಿಗೆಗೆ ಪಡೆಯಲು ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ONIE ನಲ್ಲಿನ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳು ಪ್ರತಿ ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ, ನಿಮ್ಮ ಡೇಟಾಸೆಂಟರ್ GPU ಇನ್ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಅವಧಿಗೆ ಮಾತ್ರ ಪಾವತಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ.
Tesla P40 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
Tesla P40 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ