ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Hopper

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA H100 SXM GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA H100 SXM ಒಂದು Hopper ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, ಇದರಲ್ಲಿ 80 GB VRAM ಮತ್ತು 700 W ಪವರ್ ಎನ್ವೆಲಪ್ ಇದೆ. ಇದು ಸುಮಾರು 53.5 TFLOPS ಪ್ರಮಾಣಿತ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 2869 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ, ಮತ್ತು CUDA compute capability 9.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ ಪ್ರತಿ ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್, ಸಂಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಹಾಗೂ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಇದನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.

H100 SXM ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

80 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Hopper

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

9.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 53.5 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 2,869 GB/s

ಪವರ್ ಮಿತಿ

700 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

H100 SXM ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್‌ಫರೆನ್ಸ್

80 GB VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಸುಮಾರು 2869 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿಕೊಂಡು vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳ ಮೂಲಕ ಬೇಡಿಕೆಯ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಉತ್ಪಾದನೆಗೆ ನಿಯೋಜಿಸಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು CUDA compute capability 9.0 ಬಳಸಿ, ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ PyTorch/CUDA ಪರಿಸರಗಳೊಂದಿಗೆ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ತರಬೇತಿಗೊಳಿಸಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಬ್ಯಾಚ್ ಪ್ರೊಸೆಸಿಂಗ್

ಸುಮಾರು 53.5 TFLOPS ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯಿಂದ ಲಾಭ ಪಡೆಯುವ ತೀವ್ರ ಡೇಟಾ ಪ್ರೊಸೆಸಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್ ಕಾರ್ಯಭಾರಗಳನ್ನು 700 W ಡೇಟಾಸೆಂಟರ್ ರೂಪದಲ್ಲಿ ಚಲಾಯಿಸಿ.

ಭಾರೀ ಜನರೇಟಿವ್ ಮೀಡಿಯಾ ವರ್ಕ್‌ಫ್ಲೋಗಳು

80 GB ಮೆಮೊರಿ ಪೂಲ್‌ನಲ್ಲಿ ಆರಾಮವಾಗಿ ಹೊಂದುವ ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳೊಂದಿಗೆ ಸಂಕೀರ್ಣ ComfyUI ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಡಿಫ್ಯೂಷನ್ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ತರಬೇತಿ ಅಥವಾ ಇನ್‌ಫರೆನ್ಸ್ ಕಾರ್ಯಭಾರಗಳಿಗೆ 80 GB ಹೈ-ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಡೇಟಾಸೆಂಟರ್ ಮೆಮೊರಿ ಮತ್ತು Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ವೈಶಿಷ್ಟ್ಯಗಳು ಬೇಕಾದಾಗ H100 SXM ಆಯ್ಕೆಮಾಡಿ. ಹಗುರ ಅಭಿವೃದ್ಧಿ ಅಥವಾ ಸಣ್ಣ ಮಾದರಿಗಳಿಗೆ ಚಿಕ್ಕ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಹೆಚ್ಚು ಪ್ರಾಯೋಗಿಕ ಆಯ್ಕೆಯಾಗಿದೆ, ಆದರೆ ಒಂದೇ ಇನ್‌ಸ್ಟೆನ್ಸ್ ನಿಮ್ಮ ಸಂಪೂರ್ಣ ಮಾದರಿಯನ್ನು 80 GB VRAM ನಲ್ಲಿ ಹಿಡಿಯಲಾಗದಿದ್ದರೆ ಹೊಸ ಅಥವಾ ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯದ ಡೇಟಾಸೆಂಟರ್ GPU ಉತ್ತಮ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
H100 SXM80 GBHopper≈ 53.5 TFLOPS—
H100 NVL94 GBHopper≈ 48.3 TFLOPS—ವಿವರಗಳು
H100 PCIE80 GBHopper≈ 41 TFLOPS—ವಿವರಗಳು
RTX 6000D84 GBBlackwell≈ 77.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

H100 SXM LLM ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ಇನ್‌ಫರೆನ್ಸ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 80 GB VRAM ಮತ್ತು ಸುಮಾರು 2869 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಇದನ್ನು ಚೆನ್ನಾಗಿ ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. vLLM, Ollama ಅಥವಾ PyTorch/CUDA ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ONIE ನಲ್ಲಿ ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಬಹುದು.

SXM ವೇರಿಯಂಟ್ ಕಡಿಮೆ-ವಿದ್ಯುತ್ ಡೇಟಾಸೆಂಟರ್ ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

H100 SXM 700 W ಥರ್ಮಲ್ ಡಿಸೈನ್ ಪವರ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಇದರಿಂದ PCIe ಡೇಟಾಸೆಂಟರ್ ವೇರಿಯಂಟ್‌ಗಳು ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ನಿರಂತರವಾಗಿ ಕಾಯ್ದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ನಿಮ್ಮ ಕಾರ್ಯಭಾರವು ಸುಮಾರು 53.5 TFLOPS ಕಂಪ್ಯೂಟ್ ಅಥವಾ 80 GB ಮೆಮೊರಿಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬಳಸದಿದ್ದರೆ, ಚಿಕ್ಕ GPU ಸಾಕಾಗಬಹುದು.

CUDA compute capability 9.0 ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಹೊಂದಾಣಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ?

Compute capability 9.0 NVIDIA Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ಸೂಚನೆಗಳು ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳಿಗೆ ಹಾರ್ಡ್‌ವೇರ್ ಬೆಂಬಲವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ನಮ್ಮ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಹಸ್ತಚಾಲಿತ ಡ್ರೈವರ್ ಸೆಟಪ್ ಇಲ್ಲದೆ ಈ ಹಾರ್ಡ್‌ವೇರ್ ಬಳಸಲು ಸಿದ್ಧವಾಗಿ ಬರುತ್ತವೆ.

ONIE ನಲ್ಲಿ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಇನ್‌ಸ್ಟೆನ್ಸ್ ಪ್ರವೇಶ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ನಿಮ್ಮ ಬಾಡಿಗೆ ಅವಧಿಗೆ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಪ್ರತಿ ಗಂಟೆ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ನಿಯೋಜನೆಯಾದ ನಂತರ, SSH ಪ್ರವೇಶದ ಮೂಲಕ ನಿಮ್ಮ ಪರಿಸರಕ್ಕೆ ನೇರವಾಗಿ ಸಂಪರ್ಕಿಸಬಹುದು ಅಥವಾ ComfyUI ನಂತಹ ಪೂರ್ವ-ಸ್ಥಾಪಿತ ಟೂಲ್‌ಗಳೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಬಹುದು.

H100 SXM ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

H100 SXM ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →