GPU Cloud · NVIDIA · Hopper

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA H100 NVL GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

Q: H100 NVL LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, 94 GB VRAM ಮತ್ತು ಸುಮಾರು 3381 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಇರುವುದರಿಂದ, ಚಿಕ್ಕ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗೆ ಹೊಂದದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸೇವೆ ಸಲ್ಲಿಸಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಇದು ಚೆನ್ನಾಗಿ ಸೂಕ್ತವಾಗಿದೆ.

Q: H100 NVL ಬಾಡಿಗೆಗೆ ಪಡೆದಾಗ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಪ್ರವೇಶ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿನ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ ಮತ್ತು ನೇರ SSH ಪ್ರವೇಶ ನೀಡುತ್ತವೆ, ಆದ್ದರಿಂದ ನೀವು ತಕ್ಷಣ ನಿಮ್ಮ ಪರಿಸರ ಮತ್ತು ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ನಿರ್ವಹಿಸಬಹುದು.

NVIDIA H100 NVL ಒಂದು Hopper ವಾಸ್ತುಶಿಲ್ಪದ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, ಇದರಲ್ಲಿ 94 GB VRAM ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 9.0 ಇದೆ. ಇದು 400 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ ಸುಮಾರು 48.3 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 3381 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ONIE ನಲ್ಲಿ H100 NVL ಅನ್ನು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್, SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.

H100 NVL ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

94 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Hopper

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

9.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 48.3 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 3,381 GB/s

ಪವರ್ ಮಿತಿ

400 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

H100 NVL ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್‌ಫರೆನ್ಸ್

vLLM ಅಥವಾ Ollama ಮೂಲಕ ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ನಿಯೋಜಿಸಿ; ವೇಗದ ಟೋಕನ್ ಉತ್ಪಾದನೆಗಾಗಿ 94 GB VRAM ಮತ್ತು ಸುಮಾರು 3381 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

Hopper ವಾಸ್ತುಶಿಲ್ಪದ ವೈಶಿಷ್ಟ್ಯಗಳು ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 9.0 ಬಳಸಿ PyTorch ನಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ತರಬೇತಿ ಮಾಡಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಹೈ-ರೆಸೊಲ್ಯೂಷನ್ ಇಮೇಜ್ ಉತ್ಪಾದನೆ

ಸಂಕೀರ್ಣ ComfyUI ವರ್ಕ್‌ಫ್ಲೋಗಳು ಮತ್ತು ದೊಡ್ಡ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಸಿಸ್ಟಮ್ RAM ಗೆ ಆಫ್‌ಲೋಡ್ ಮಾಡದೆ ಮೆಮೊರಿಯಲ್ಲಿಯೇ ಚಲಾಯಿಸಿ.

ವೈಜ್ಞಾನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್

ಸುಮಾರು 48.3 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಪ್ರಯೋಜನ ಪಡೆಯುವ, ಹೆಚ್ಚು ಮೆಮೊರಿ ಬೇಡುವ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ನಡೆಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ AI ಅಥವಾ ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಭಾರಗಳಿಗೆ ಸಾಮಾನ್ಯ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಮೆಮೊರಿ ಬೇಕಾದಾಗ, 94 GB VRAM ವರೆಗೆ ಬೆಂಬಲಿಸುವ H100 NVL ಆಯ್ಕೆಮಾಡಿ. ಹಗುರ ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಅಭಿವೃದ್ಧಿಗೆ ಚಿಕ್ಕ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಉತ್ತಮ ಆಯ್ಕೆ, ಮತ್ತು ನಿಮ್ಮ ಮಾದರಿಗಳು 94 GB ಮೀರಿದರೆ ಮಲ್ಟಿ-GPU ಸೆಟಪ್ ಅಥವಾ ದೊಡ್ಡ ಮೆಮೊರಿ ಶ್ರೇಣಿ ಅಗತ್ಯ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPU	ಪ್ರತಿ GPUಗೆ VRAM	ಆರ್ಕಿಟೆಕ್ಚರ್	FP32 ಕಂಪ್ಯೂಟ್	ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭ	ವಿವರಗಳು
H100 NVL	94 GB	Hopper	≈ 48.3 TFLOPS	—
H100 SXM	80 GB	Hopper	≈ 53.5 TFLOPS	—	ವಿವರಗಳು
H200 NVL	140 GB	Hopper	≈ 48.3 TFLOPS	—	ವಿವರಗಳು
H100 PCIE	80 GB	Hopper	≈ 41 TFLOPS	—	ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

H100 NVL LLM ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, 94 GB VRAM ಮತ್ತು ಸುಮಾರು 3381 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಇರುವುದರಿಂದ, ಚಿಕ್ಕ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗೆ ಹೊಂದದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸೇವೆ ಸಲ್ಲಿಸಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಇದು ಚೆನ್ನಾಗಿ ಸೂಕ್ತವಾಗಿದೆ.

H100 NVL ಸಾಮಾನ್ಯ H100 ರೂಪಾಂತರಗಳೊಂದಿಗೆ ಹೇಗೆ ಹೋಲಿಸುತ್ತದೆ?

H100 NVL ವಿಸ್ತೃತ 94 GB VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು 400 W ವಿದ್ಯುತ್ ಮಿತಿಯನ್ನು ನೀಡುತ್ತದೆ; ಇದರಿಂದ ಪ್ರಮಾಣಿತ Hopper ಡೇಟಾಸೆಂಟರ್ ಸಂರಚನೆಗಳಿಗಿಂತ ಹೆಚ್ಚುವರಿ ಮೆಮೊರಿ ಸ್ಥಳಾವಕಾಶ ಸಿಗುತ್ತದೆ.

ಈ GPU ಗಾಗಿ ONIE ನಲ್ಲಿ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಲಭ್ಯವಿವೆ?

PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಪೂರ್ವ-ಸಂರಚಿತ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ H100 NVL ಅನ್ನು ನಿಯೋಜಿಸಬಹುದು; ಇವೆಲ್ಲವೂ ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 9.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ.

H100 NVL ಬಾಡಿಗೆಗೆ ಪಡೆದಾಗ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಪ್ರವೇಶ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿನ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ ಮತ್ತು ನೇರ SSH ಪ್ರವೇಶ ನೀಡುತ್ತವೆ, ಆದ್ದರಿಂದ ನೀವು ತಕ್ಷಣ ನಿಮ್ಮ ಪರಿಸರ ಮತ್ತು ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ನಿರ್ವಹಿಸಬಹುದು.

H100 NVL ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

H100 NVL ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →