ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA A100 SXM4 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಎನ್‌ವಿಡಿಯಾ A100 SXM4 ಎಂಬುದು Ampere ವಾಸ್ತುಶಿಲ್ಪದ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, 40 GB VRAM ಮತ್ತು 400 W ವಿದ್ಯುತ್ ಮಿತಿಯನ್ನು ಹೊಂದಿದೆ. ಇದು ಸುಮಾರು 1313 GB/s ಮೆಮರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 8.0 ನಲ್ಲಿ ಸುಮಾರು 15.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಒದಗಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ ಇದನ್ನು ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್, ನೇರ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ComfyUI ಸೇರಿದಂತೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.
ವಿವರಣೆಗಳು
ಪ್ರತಿ GPUಗೆ VRAM
ಆರ್ಕಿಟೆಕ್ಚರ್
ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ
FP32 ಕಂಪ್ಯೂಟ್
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್
ಪವರ್ ಮಿತಿ
ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.
ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು
ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.
ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…
A100 SXM4 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು
LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಸರ್ವಿಂಗ್
ಸಿದ್ಧ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ, 40 GB VRAM ಒಳಗೆ ಹೊಂದುವ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಹೆಚ್ಚಿನ ಮೆಮರಿ ಥ್ರೂಪುಟ್‌ನೊಂದಿಗೆ ಚಲಾಯಿಸಿ.
ಡೀಪ್ ಲರ್ನಿಂಗ್ ತರಬೇತಿ
ಸುಮಾರು 1313 GB/s ಮೆಮರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಹೊಂದಿರುವ Ampere ಡೇಟಾಸೆಂಟರ್ ವಾಸ್ತುಶಿಲ್ಪದಲ್ಲಿ PyTorch/CUDA ಬಳಸಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ತರಬೇತಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.
ಬ್ಯಾಚ್ ಇಮೇಜ್ ಜನರೇಷನ್
ಹೈ-ರೆಸೊಲ್ಯೂಷನ್ ಡಿಫ್ಯೂಷನ್ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ರಚಿಸಿ ಮತ್ತು ಗ್ರಾಹಕ ದರ್ಜೆಯ ಮೆಮರಿ ಮಿತಿಗಳನ್ನು ತಲುಪದೆ ComfyUI ನಲ್ಲಿ ಸಂಕೀರ್ಣ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಚಲಾಯಿಸಿ.
ವೈಜ್ಞಾನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್
ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 8.0 ಮತ್ತು SXM4 ಫಾರ್ಮ್-ಫ್ಯಾಕ್ಟರ್ ವಿದ್ಯುತ್ ಮಿತಿಗಳಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಮೆಮರಿ-ತೀವ್ರ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು ಮತ್ತು ಡೇಟಾ ಪ್ರೊಸೆಸಿಂಗ್ ಕೆಲಸದ ಹೊರೆಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ.
ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?
ನಿಮ್ಮ ತರಬೇತಿ ಅಥವಾ ಇನ್ಫರೆನ್ಸ್ ಕೆಲಸದ ಹೊರೆಗಳು ಗ್ರಾಹಕ GPU ಮೆಮರಿ ಮಿತಿಗಳನ್ನು ಮೀರಿದಾಗ ಮತ್ತು ಡೇಟಾಸೆಂಟರ್ ಮೆಮರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಬೇಕಾದಾಗ 40 GB A100 SXM4 ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಅನ್‌ಕ್ವಾಂಟೈಸ್ಡ್ ಮಾದರಿಗಳು 40 GB ಮೀರಿದರೆ ಹೆಚ್ಚಿನ VRAM ಇರುವ ಡೇಟಾಸೆಂಟರ್ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ಲಘು ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಅಭಿವೃದ್ಧಿಗಾಗಿ ಚಿಕ್ಕ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಕನ್ಸ್ಯೂಮರ್ ಕಾರ್ಡ್ ಆಯ್ಕೆಮಾಡಿ.
ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
40 GB A100 SXM4 LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ಗೆ ಸೂಕ್ತವೇ?
ಹೌದು, ಇದರ 40 GB VRAM ಮತ್ತು ಸುಮಾರು 1313 GB/s ಮೆಮರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಮಧ್ಯಮ ಗಾತ್ರದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮಾಡಲು ಉತ್ತಮವಾಗಿ ಹೊಂದುತ್ತದೆ. ಒದಗಿಸಲಾದ vLLM, Ollama, ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ ನೀವು ಬೇಗನೆ ಮಾದರಿಗಳನ್ನು ನಿಯೋಜಿಸಬಹುದು.
ಈ 40 GB SXM4 ಮಾದರಿ ಇತರ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳೊಂದಿಗೆ ಹೇಗೆ ಹೋಲಿಸುತ್ತದೆ?
SXM4 ರೂಪಾಂತರವು 400 W ಉಷ್ಣ ವಿನ್ಯಾಸ ಶಕ್ತಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 8.0 ನೊಂದಿಗೆ Ampere ವಾಸ್ತುಶಿಲ್ಪದಲ್ಲಿ ನಿರಂತರ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಮಾದರಿ ವಿಭಜನೆಯನ್ನು ತಪ್ಪಿಸಲು ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆಗೆ 40 GB ಗಿಂತ ಹೆಚ್ಚು ಮೆಮರಿ ಬೇಕಾದರೆ, ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯದ Ampere ಅಥವಾ ಹೊಸ ತಲೆಮಾರಿನ ಡೇಟಾಸೆಂಟರ್ GPU ಗೆ ಅಪ್‌ಗ್ರೇಡ್ ಮಾಡುವುದನ್ನು ಪರಿಗಣಿಸಿ.
ONIE ನಲ್ಲಿ A100 SXM4 ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
ನಿಮ್ಮ ಬಾಡಿಗೆ ಸಕ್ರಿಯವಾಗಿರುವವರೆಗೆ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳಿಗೆ ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ಇದರಿಂದ ನೀವು ತೀವ್ರ ತರಬೇತಿ ಅಥವಾ ಬ್ಯಾಚ್ ಇನ್ಫರೆನ್ಸ್ ಕೆಲಸಗಳನ್ನು ಚಲಾಯಿಸಿ, ಮುಗಿದ ನಂತರ ಇನ್ಸ್ಟೆನ್ಸ್ ಅನ್ನು ನಿಲ್ಲಿಸಬಹುದು.
ನನ್ನ A100 SXM4 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಸೆಟಪ್ ಮಾಡುವುದು?
ನಿಮಗೆ ಯಂತ್ರಕ್ಕೆ ನೇರ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ComfyUI ಗಾಗಿ ಬಳಸಲು ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಸಿಗುತ್ತವೆ. ಲಾಂಚ್ ಸಮಯದಲ್ಲಿ ನಿಮಗೆ ಬೇಕಾದ ಟೆಂಪ್ಲೇಟ್ ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು ತಕ್ಷಣ ಕೆಲಸ ಆರಂಭಿಸಿ.
A100 SXM4 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ
ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.
A100 SXM4 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ