ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Hopper

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA H100 PCIE GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA H100 PCIE ಒಂದು Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, ಬೇಡಿಕೆಯ ಡೀಪ್ ಲರ್ನಿಂಗ್ ಮತ್ತು ವೈಜ್ಞಾನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಕಾರ್ಯಭಾರಗಳಿಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಇದು 80 GB VRAM, ಸುಮಾರು 1760 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು 350 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ ಸುಮಾರು 41.0 TFLOPS ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಂಪ್ಯೂಟ್ ಒದಗಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ, ನೀವು ಪ್ರತಿ ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಪೂರ್ಣ SSH ಪ್ರವೇಶದೊಂದಿಗೆ ಈ compute capability 9.0 ವೇಗವರ್ಧಕವನ್ನು ನಿಯೋಜಿಸಬಹುದು.

H100 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

80 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Hopper

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

9.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 41 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 1,760 GB/s

ಪವರ್ ಮಿತಿ

350 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

H100 PCIE ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್‌ಫರೆನ್ಸ್

80 GB VRAM ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿಯೇ ಸರ್ವ್ ಮಾಡಿ, ಜೊತೆಗೆ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ.

ಮಾದರಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ತರಬೇತಿ

Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಸಿದ್ಧ PyTorch/CUDA ಪರಿಸರಗಳನ್ನು ಬಳಸಿ ಡೀಪ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ತರಬೇತಿ ಮಾಡಿ ಅಥವಾ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಬ್ಯಾಚ್ ಇಮೇಜ್ ಜನರೇಷನ್

ದೊಡ್ಡ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯದಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ diffusion ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಸಂಕೀರ್ಣ ComfyUI ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಚಲಾಯಿಸಿ.

ಡೇಟಾ ಸೈನ್ಸ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್

ಸುಮಾರು 41.0 TFLOPS ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 1760 GB/s ಮೆಮೊರಿ ಥ್ರೂಪುಟ್‌ನೊಂದಿಗೆ ಕಂಪ್ಯೂಟ್-ತೀವ್ರ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು ಮತ್ತು ಡೇಟಾ ಪ್ರಕ್ರಿಯೆ ಕಾರ್ಯಗಳನ್ನು ನಡೆಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಕಾರ್ಯಭಾರಗಳಿಗೆ 80 GB VRAM, ಡೇಟಾಸೆಂಟರ್ ದರ್ಜೆಯ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು Hopper compute capability 9.0 ವೈಶಿಷ್ಟ್ಯಗಳು ಬೇಕಾದಾಗ H100 PCIE ಆಯ್ಕೆಮಾಡಿ. ಹಗುರ ಇನ್‌ಫರೆನ್ಸ್ ಅಥವಾ ಚಿಕ್ಕ ಮಾದರಿಗಳಿಗೆ, ಕಡಿಮೆ VRAM ಇರುವ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಹೆಚ್ಚು ಆರ್ಥಿಕವಾಗಿರುತ್ತದೆ, ಅತ್ಯಧಿಕ ಥ್ರೂಪುಟ್ ಅಗತ್ಯವಿದ್ದರೆ SXM ಆಧಾರಿತ ಡೇಟಾಸೆಂಟರ್ ರೂಪಾಂತರ ಉತ್ತಮ ಆಯ್ಕೆಯಾಗಬಹುದು.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
H100 PCIE80 GBHopper≈ 41 TFLOPS—
H100 NVL94 GBHopper≈ 48.3 TFLOPS—ವಿವರಗಳು
H100 SXM80 GBHopper≈ 53.5 TFLOPS—ವಿವರಗಳು
RTX A600048 GBAmpere≈ 36.1 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

H100 PCIE LLM ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ಇನ್‌ಫರೆನ್ಸ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 80 GB VRAM ಮತ್ತು ಸುಮಾರು 1760 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ತರಬೇತಿ ನೀಡಲು ಉತ್ತಮವಾಗಿ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. PyTorch/CUDA, vLLM ಅಥವಾ Ollama ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಬಹುದು.

H100 PCIE, SXM ಅಥವಾ ಚಿಕ್ಕ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPUಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

H100 PCIE 350 W TDP ಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಹೆಚ್ಚಿನ ವಾಟ್‌ನ SXM ಡೇಟಾಸೆಂಟರ್ ರೂಪಾಂತರಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಕೆ ಮತ್ತು ಸ್ಟ್ಯಾಂಡರ್ಡ್ PCIe ಹೊಂದಾಣಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ. ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, ಇದು 80 GB ನೊಂದಿಗೆ ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ VRAM ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಒದಗಿಸುತ್ತದೆ.

ಈ GPU ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಬೆಂಬಲ ಮತ್ತು compute capability ಹೊಂದಿದೆ?

NVIDIA Hopper ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತವಾಗಿರುವ H100 PCIE CUDA compute capability 9.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. PyTorch/CUDA ಮತ್ತು ComfyUI ಒಳಗೊಂಡ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು, ಅಥವಾ SSH ಪ್ರವೇಶದ ಮೂಲಕ ನಿಮ್ಮದೇ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು.

ONIE ನಲ್ಲಿ H100 PCIE ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಸರಳ ಪ್ರತಿ ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್ ಇದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ GPU ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ. ಪ್ರತಿ ನಿಯೋಜನೆಯೊಂದಿಗೆ ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸೇರಿದೆ.

H100 PCIE ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

H100 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →