ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA A40 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
NVIDIA A40 ಎಂಬುದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಡೇಟಾ ಸೆಂಟರ್ GPU ಆಗಿದ್ದು, compute capability 8.6 ಮತ್ತು 45 GB VRAM ಹೊಂದಿದೆ. ONIE ನಲ್ಲಿ, ಇದು 300 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ ಸುಮಾರು 29.9 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 536 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್, ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ, ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ಹಾಗೂ ComfyUI ಸೇರಿದಂತೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನೀವು ಇದನ್ನು ನಿಯೋಜಿಸಬಹುದು.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
A40 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್‌ಫರೆನ್ಸ್
ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ 45 GB ವರೆಗೆ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಿ.
ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್
ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ವೇಯ್ಟ್‌ಗಳಿಗಾಗಿ ಸಾಕಷ್ಟು VRAM ನೊಂದಿಗೆ PyTorch/CUDA ನಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.
ಜನರೇಟಿವ್ ಇಮೇಜ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು
ComfyUI ಬಳಸಿ ಸಂಕೀರ್ಣ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ ಮತ್ತು ಹಲವು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಮೆಮೊರಿಯಲ್ಲಿ ಇರಿಸಿ.
ಡೇಟಾ ಸೆಂಟರ್ ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಗಳು
ಸಿಮ್ಯುಲೇಶನ್ ಮತ್ತು ರೆಂಡರಿಂಗ್ ಕಾರ್ಯಭಾರಗಳಿಗಾಗಿ ಸುಮಾರು 29.9 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 536 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿಕೊಳ್ಳಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ನಿಮ್ಮ ಕಾರ್ಯಭಾರಕ್ಕೆ Ampere ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಡೇಟಾ ಸೆಂಟರ್ GPU ಮೇಲೆ 45 GB VRAM ಅಗತ್ಯವಿದ್ದಾಗ A40 ಆಯ್ಕೆಮಾಡಿ; ಇದು ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯವನ್ನು ಮೀರುತ್ತದೆ. ನಿಮ್ಮ ಮಾದರಿಗಳು ಕಡಿಮೆ ಮೆಮೊರಿಯಲ್ಲಿ ಹೊಂದಿಕೊಂಡರೆ ಚಿಕ್ಕ ಗ್ರಾಹಕ ಕಾರ್ಡ್ ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ತರಬೇತಿ ಕೆಲಸಗಳು ಮೆಮೊರಿ ಥ್ರೂಪುಟ್‌ನಿಂದ ಹೆಚ್ಚು ಅಡ್ಡಿಯಾಗುತ್ತಿದ್ದರೆ ಹೆಚ್ಚಿನ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಡೇಟಾ ಸೆಂಟರ್ GPU ಗೆ ಬದಲಿಸಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
NVIDIA A40 LLM ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ ಸೂಕ್ತವೇ?
ಹೌದು, 45 GB VRAM ಸಾಮರ್ಥ್ಯದಿಂದಾಗಿ A40 ಮಧ್ಯಮದಿಂದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮಾಡಲು ಉತ್ತಮವಾಗಿದೆ. ONIE ನಲ್ಲಿ ನೇರವಾಗಿ vLLM, Ollama, ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್ ಆರಂಭಿಸಿ ತಕ್ಷಣ ಕೆಲಸ ಪ್ರಾರಂಭಿಸಬಹುದು.
A40 ಸಣ್ಣ ಗ್ರಾಹಕ GPU ಗಳು ಅಥವಾ ದೊಡ್ಡ ಡೇಟಾ ಸೆಂಟರ್ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?
A40 ಮೆಮೊರಿ-ಅವಲಂಬಿತ ಕಾರ್ಯಭಾರಗಳಿಗೆ 45 GB VRAM ನೀಡುತ್ತದೆ, ಇದರಿಂದ ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ GPU ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಸ್ಥಳಾವಕಾಶ ಸಿಗುತ್ತದೆ. ಆದರೆ ಸುಮಾರು 536 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ HBM ಮೆಮೊರಿ ಬಳಸುವ ಉನ್ನತ ಶ್ರೇಣಿಯ ಡೇಟಾ ಸೆಂಟರ್ GPU ಗಳಿಗಿಂತ ಕಡಿಮೆಯಾಗಿದೆ.
ONIE ನಲ್ಲಿ A40 ಗೆ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರಗಳು ಲಭ್ಯವಿವೆ?
A40 CUDA compute capability 8.6 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ಹಾಗೂ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನಿಯೋಜಿಸಬಹುದು. ನಿಮಗೆ ಬೇಕಾದಂತೆ ಸಾಫ್ಟ್‌ವೇರ್ ಸ್ಟ್ಯಾಕ್ ಕಸ್ಟಮೈಸ್ ಮಾಡಲು ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸೇರಿದೆ.
A40 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ONIE ಎಲ್ಲಾ A40 ಬಾಡಿಗೆಗಳಿಗೆ ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ, ಇದರಿಂದ ಅಲ್ಪಾವಧಿಯ ಪ್ರಯೋಗಗಳು ಮತ್ತು ದೀರ್ಘಾವಧಿಯ ಉತ್ಪಾದನಾ ರನ್‌ಗಳೆರಡಕ್ಕೂ ಇದು ಪ್ರಾಯೋಗಿಕವಾಗಿದೆ.
A40 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
A40 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ