ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Hopper

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA H200 NVL GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA H200 NVL ಎಂಬುದು ಮೆಮೊರಿ-ತೀವ್ರ ಕಾರ್ಯಭಾರಗಳಿಗಾಗಿ ನಿರ್ಮಿತವಾದ Hopper ವಾಸ್ತುಶಿಲ್ಪದ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, 140 GB VRAM ಮತ್ತು ಸುಮಾರು 3884 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ಇದು 600 W ವಿದ್ಯುತ್ ಮಿತಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಕಂಪ್ಯೂಟ್ ಕ್ಷಮತೆ 9.0ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು ಸುಮಾರು 48.3 TFLOPS ಪ್ರಮಾಣಿತ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಂಪ್ಯೂಟ್ ನೀಡುತ್ತದೆ. ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್, ನೇರ SSH ಪ್ರವೇಶ ಮತ್ತು ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನೀವು ONIE ನಲ್ಲಿ ಈ ಪ್ರೊಸೆಸರ್ ಅನ್ನು ನಿಯೋಜಿಸಬಹುದು.

H200 NVL ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

140 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Hopper

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

9.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 48.3 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 3,884 GB/s

ಪವರ್ ಮಿತಿ

600 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

H200 NVL ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್

140 GB VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಸುಮಾರು 3884 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿಕೊಂಡು, ಶಾರ್ಡಿಂಗ್ ಇಲ್ಲದೆ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿಯೇ ಚಲಾಯಿಸಿ.

ಮಾದರಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ತರಬೇತಿ

Hopper ಕಂಪ್ಯೂಟ್ ಕ್ಷಮತೆ 9.0 ಮತ್ತು ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳಿಗೆ ವಿಶಾಲವಾದ GPU ಮೆಮೊರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಡೀಪ್ ಲರ್ನಿಂಗ್ ಮಾದರಿಗಳನ್ನು ತರಬೇತುಗೊಳಿಸಿ ಮತ್ತು ಹೊಂದಿಸಿ.

ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಬ್ಯಾಚ್ ಪ್ರೊಸೆಸಿಂಗ್

ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ PyTorch/CUDA, vLLM, ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಬೃಹತ್ ಡೇಟಾಸೆಟ್‌ಗಳು ಮತ್ತು ದೀರ್ಘ ಸಂದರ್ಭ ವಿಂಡೋಗಳನ್ನು ದಕ್ಷತೆಯಿಂದ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿ.

ವೈಜ್ಞಾನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್

ಸುಮಾರು 48.3 TFLOPS ಪ್ರಮಾಣಿತ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಗಣನೀಯ ಆನ್‌ಬೋರ್ಡ್ ಮೆಮೊರಿ ಬೇಕಾಗುವ ಸಂಕೀರ್ಣ ಡೇಟಾಸೆಂಟರ್ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಪ್ರಮುಖ ಅಡಚಣೆ VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಆಗಿದ್ದರೆ, ವಿಶೇಷವಾಗಿ ಒಂದೇ ಕಾರ್ಡ್‌ನಲ್ಲಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು, H200 NVL ಆಯ್ಕೆಮಾಡಿ. ನೀವು ಹಗುರವಾದ ಇನ್ಫರೆನ್ಸ್, ಸಾಮಾನ್ಯ ಚಿತ್ರ ಉತ್ಪಾದನೆ, ಅಥವಾ 140 GB ಮೆಮೊರಿ ಅಗತ್ಯವಿಲ್ಲದ ಡೆವಲಪ್‌ಮೆಂಟ್ ಕಾರ್ಯಗಳನ್ನು ಚಲಾಯಿಸುತ್ತಿದ್ದರೆ, ಸಣ್ಣ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಕನ್ಸ್ಯೂಮರ್ GPU ಹೆಚ್ಚು ಪ್ರಾಯೋಗಿಕ ಆಯ್ಕೆಯಾಗಿದೆ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
H200 NVL140 GBHopper≈ 48.3 TFLOPS—
H100 NVL94 GBHopper≈ 48.3 TFLOPS—ವಿವರಗಳು
H100 SXM80 GBHopper≈ 53.5 TFLOPS—ವಿವರಗಳು
H100 PCIE80 GBHopper≈ 41 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

ಸಾಮಾನ್ಯ Hopper GPU ಬದಲು H200 NVL ಅನ್ನು ಏಕೆ ಆಯ್ಕೆಮಾಡಬೇಕು?

H200 NVL ನಲ್ಲಿ 140 GB VRAM ಮತ್ತು ಸುಮಾರು 3884 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಇದೆ; ಇದು ಹಿಂದಿನ Hopper ಪೀಳಿಗೆಯ ಕಾರ್ಡ್‌ಗಳ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ಗಿಂತ ಹೆಚ್ಚಾಗಿದೆ. ಇದರಿಂದಾಗಿ ದೊಡ್ಡ ಮಾದರಿಗಳು ಮತ್ತು ಸಂದರ್ಭ ವಿಂಡೋಗಳು ಒಂದೇ GPU ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ.

vLLM ಅಥವಾ Ollama ಮೂಲಕ LLM ಸರ್ವಿಂಗ್‌ಗೆ H200 NVL ಸೂಕ್ತವೇ?

ಹೌದು, 140 GB ಮೆಮೊರಿ ಪೂಲ್ ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಇದನ್ನು ಸೂಕ್ತವಾಗಿಸುತ್ತವೆ. ತ್ವರಿತವಾಗಿ ಪ್ರಾರಂಭಿಸಲು ONIE vLLM ಮತ್ತು Ollama ಎರಡಕ್ಕೂ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರಗಳು ಮತ್ತು ಪ್ರವೇಶ ವಿಧಾನಗಳು ಲಭ್ಯವಿವೆ?

ಪ್ರತಿ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ನಲ್ಲಿ ಕಸ್ಟಮ್ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಾಗಿ ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸೇರಿದೆ. PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಮೊದಲೇ ಸ್ಥಾಪಿಸಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು.

ONIE ನಲ್ಲಿ H200 NVL ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ?

ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ನಿಮ್ಮ H200 NVL ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.

H200 NVL ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

H200 NVL ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →