ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ampere

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA CMP 170HX GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA CMP 170HX ಎಂಬುದು 64 GB VRAM ಮತ್ತು 250 W TDP ಹೊಂದಿರುವ Ampere ವಾಸ್ತುಶಿಲ್ಪದ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದೆ. ಇದು compute capability 8.0 ನಲ್ಲಿ ಸುಮಾರು 1516 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು ಸುಮಾರು 12.1 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಒದಗಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ, ನೀವು ಈ ಕಾರ್ಡ್ ಅನ್ನು ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್, ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನಿಯೋಜಿಸಬಹುದು.

CMP 170HX ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

64 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ampere

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 12.1 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 1,516 GB/s

ಪವರ್ ಮಿತಿ

250 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

CMP 170HX ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ಮೆಮೊರಿ-ಬೌಂಡ್ LLM ಇನ್ಫರೆನ್ಸ್

64 GB VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಸುಮಾರು 1516 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿಕೊಂಡು vLLM ಅಥವಾ Ollama ಮೂಲಕ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಿ.

ಹೆಚ್ಚಿನ ಮೆಮೊರಿಯ ಡೀಪ್ ಲರ್ನಿಂಗ್

ಮಾದರಿಗಳನ್ನು ಸಾಧನಗಳ ನಡುವೆ ವಿಭಜಿಸದೆ, compute capability 8.0 ಅಗತ್ಯವಿರುವ ಮತ್ತು ಗಣನೀಯ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯ ಬೇಕಾಗುವ PyTorch/CUDA ವರ್ಕ್‌ಲೋಡ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ.

ಸಂಕೀರ್ಣ ಇಮೇಜ್ ಜನರೇಷನ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು

64 GB ಮೆಮೊರಿ ಪೂಲ್‌ನಲ್ಲಿ ComfyUI ನಲ್ಲಿ ಹಲವು ದೊಡ್ಡ ಡಿಫ್ಯೂಷನ್ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು ಮತ್ತು control nets ಅನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಲೋಡ್ ಮಾಡಿ.

ಡೇಟಾ ಪ್ರೊಸೆಸಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್

250 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ, ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಥ್ರೂಪುಟ್‌ನಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಮೆಮೊರಿ-ತೀವ್ರ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ವರ್ಕ್‌ಲೋಡ್ ಕಚ್ಚಾ ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್‌ಗಿಂತ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನಿಂದ ಸೀಮಿತವಾಗಿದ್ದಾಗ CMP 170HX ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ. ವೇಗವಾದ ತರಬೇತಿ ಪುನರಾವರ್ತನೆಗಳು ಬೇಕಾದರೆ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಥ್ರೂಪುಟ್ ಇರುವ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ಮಾದರಿಗಳಿಗೆ 64 GB VRAM ಅಗತ್ಯವಿಲ್ಲದಿದ್ದರೆ ಚಿಕ್ಕ ಗ್ರಾಹಕ ಕಾರ್ಡ್ ಆಯ್ಕೆಮಾಡಿ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
CMP 170HX64 GBAmpere≈ 12.1 TFLOPS—
Q RTX 800045 GBTuring≈ 11.9 TFLOPS—ವಿವರಗಳು
A800 PCIE80 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು
A100 PCIE40 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

CMP 170HX LLM ಇನ್ಫರೆನ್ಸ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, 64 GB VRAM ಮತ್ತು ಸುಮಾರು 1516 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಇರುವುದರಿಂದ vLLM ಮತ್ತು Ollama ನಂತಹ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಲೋಡ್ ಮಾಡಲು ಮತ್ತು ಸರ್ವ್ ಮಾಡಲು ಇದು ಚೆನ್ನಾಗಿ ಸೂಕ್ತವಾಗಿದೆ. ಆದರೆ ಇದು ಸುಮಾರು 12.1 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಒದಗಿಸುವುದರಿಂದ, ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಸಾಂದ್ರತೆಯ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗಿಂತ ಪ್ರಾಂಪ್ಟ್ ಪ್ರೊಸೆಸಿಂಗ್ ನಿಧಾನವಾಗಿರುತ್ತದೆ.

ಈ GPU ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಡೇಟಾಸೆಂಟರ್ ಆಕ್ಸಿಲರೇಟರ್‌ಗಳಿಗೆ ಹೇಗೆ ಹೋಲಿಸುತ್ತದೆ?

CMP 170HX ಸಾಮಾನ್ಯ Ampere ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಡ್‌ಗಳಂತೆಯೇ ದೊಡ್ಡ 64 GB ಮೆಮೊರಿ ಬಫರ್ ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ, ಜೊತೆಗೆ 250 W TDP ಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಇದರ ಮುಖ್ಯ ಟ್ರೇಡ್-ಆಫ್ ಸುಮಾರು 12.1 TFLOPS ನ ಕಡಿಮೆ ಕಂಪ್ಯೂಟ್ ಥ್ರೂಪುಟ್ ಆಗಿದ್ದು, ಇದು ಭಾರೀ ಕಂಪ್ಯೂಟ್ ವರ್ಕ್‌ಲೋಡ್‌ಗಳಿಗಿಂತ ಮೆಮೊರಿ-ಬೌಂಡ್ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚು ಸೂಕ್ತವಾಗಿದೆ.

ಈ GPU ಗಾಗಿ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರಗಳು ಲಭ್ಯವಿವೆ?

ಈ ಕಾರ್ಡ್ CUDA compute capability 8.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ONIE ನಲ್ಲಿ ಪ್ರಾರಂಭಿಸಬಹುದು. ಕಸ್ಟಮ್ ಲೈಬ್ರರಿಗಳನ್ನು ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಲು ಮತ್ತು ನಿಮ್ಮ ಪರಿಸರವನ್ನು ನಿರ್ವಹಿಸಲು ನೇರ SSH ಪ್ರವೇಶವೂ ದೊರೆಯುತ್ತದೆ.

CMP 170HX ಬಾಡಿಗೆಗೆ ಪಡೆದಾಗ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿರುವ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳು ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಆಗುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ GPU ಸಕ್ರಿಯವಾಗಿರುವ ಅವಧಿಗೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.

CMP 170HX ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

CMP 170HX ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →