GPU Cloud · NVIDIA · Blackwell

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX PRO 6000 WS GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

Q: ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್ಗೆ RTX PRO 6000 WS ಸೂಕ್ತವೇ?

ಹೌದು. 96 GB VRAM ಮತ್ತು ಸುಮಾರು 1403 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನೊಂದಿಗೆ, ಈ ವರ್ಕ್ಸ್ಟೇಷನ್ GPU ದೊಡ್ಡ ಮಾದರಿ ತೂಕಗಳನ್ನು ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿ ಇರಿಸಬಲ್ಲದು. ಒದಗಿಸಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಬಳಸಿ ನೀವು ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್ಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನಿಯೋಜಿಸಬಹುದು.

Q: ಈ GPU ಗ್ರಾಹಕ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ ಆಯ್ಕೆಗಳಿಗೆ ಹೋಲಿಸಿದಾಗ ಹೇಗಿದೆ?

Blackwell ವರ್ಕ್ಸ್ಟೇಷನ್ GPU ಆಗಿ, RTX PRO 6000 WS ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಕಾರ್ಡ್ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ 96 GB VRAM ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ, ಇದರಿಂದ ದೊಡ್ಡ ಕಾರ್ಯಭಾರಗಳು ಒಂದೇ ಕಾರ್ಡ್ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ. ಡೇಟಾಸೆಂಟರ್ GPU ಗಳು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ನೀಡಬಹುದು, ಆದರೆ ಸಣ್ಣ ವರ್ಕ್ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಗಳು ಹಗುರ ಕಾರ್ಯಗಳಿಗೆ ಸಾಕಾಗುತ್ತವೆ.

NVIDIA RTX PRO 6000 WS ಎಂಬುದು Blackwell ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಆಗಿದ್ದು, ONIE ನಲ್ಲಿ ಬೇಡಿಕೆಯ ಮೇರೆಗೆ ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಲಭ್ಯವಿದೆ. 96 GB VRAM ಮತ್ತು 600 W ವಿದ್ಯುತ್ ಹೊದಿಕೆಯೊಂದಿಗೆ, ಇದು ಸುಮಾರು 119.0 TFLOPS ಪ್ರಮಾಣಿತ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 1403 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ಇದು ಆಧುನಿಕ AI ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಭಾರಗಳಿಗಾಗಿ compute capability 12.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

RTX PRO 6000 WS ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

96 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Blackwell

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

12.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 119 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 1,403 GB/s

ಪವರ್ ಮಿತಿ

600 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

RTX PRO 6000 WS ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್

ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ, ಒಂದೇ 96 GB ಮೆಮೊರಿ ಪೂಲ್‌ನಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.

ಮಾದರಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ತರಬೇತಿ

PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಸುಮಾರು 119.0 TFLOPS ಕಂಪ್ಯೂಟ್ ಶಕ್ತಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಡೀಪ್ ಲರ್ನಿಂಗ್ ಮಾದರಿಗಳನ್ನು ತರಬೇತಿಗೊಳಿಸಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಹೈ-ರೆಸೊಲ್ಯೂಷನ್ ಜನರೇಟಿವ್ ಮೀಡಿಯಾ

96 GB VRAM ಬಳಸಿ, ಮೆಮೊರಿ ಅಡಚಣೆಗಳಿಲ್ಲದೆ ComfyUI ನಲ್ಲಿ ಸಂಕೀರ್ಣ ಚಿತ್ರ ಮತ್ತು ವೀಡಿಯೊ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ರಚಿಸಿ.

ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ರೆಂಡರಿಂಗ್

ಸುಮಾರು 1403 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬೆಂಬಲದೊಂದಿಗೆ ಭಾರೀ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು ಮತ್ತು ರೆಂಡರಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ನಡೆಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಕಾರ್ಯಭಾರಗಳಿಗೆ 96 GB VRAM ಮತ್ತು Blackwell ಆರ್ಕಿಟೆಕ್ಚರ್ ವೈಶಿಷ್ಟ್ಯಗಳು ಬೇಕಾದರೆ, ಡೇಟಾಸೆಂಟರ್-ವರ್ಗದ ಹಾರ್ಡ್‌ವೇರ್‌ಗೆ ಬದಲಾಗದೆ RTX PRO 6000 WS ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಮಾದರಿಗಳಿಗೆ ಕಡಿಮೆ ಮೆಮೊರಿ ಸಾಕಾದರೆ, ಗ್ರಾಹಕ ಅಥವಾ ಸಣ್ಣ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಹೆಚ್ಚು ಆರ್ಥಿಕವಾಗಿರುತ್ತದೆ, ಆದರೆ ಅತಿ ದೊಡ್ಡ ಪ್ರಮಾಣದ ತರಬೇತಿ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಹೊಂದಿರುವ ಡೇಟಾಸೆಂಟರ್-ವರ್ಗದ GPU ಬೇಕಾಗಬಹುದು.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPU	ಪ್ರತಿ GPUಗೆ VRAM	ಆರ್ಕಿಟೆಕ್ಚರ್	FP32 ಕಂಪ್ಯೂಟ್	ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭ	ವಿವರಗಳು
RTX PRO 6000 WS	96 GB	Blackwell	≈ 119 TFLOPS	—
RTX PRO 6000 Max-Q	96 GB	Blackwell	≈ 119 TFLOPS	—	ವಿವರಗಳು
RTX PRO 6000 S	96 GB	Blackwell	≈ 93.6 TFLOPS	—	ವಿವರಗಳು
RTX 6000D	84 GB	Blackwell	≈ 77.6 TFLOPS	—	ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್‌ಗೆ RTX PRO 6000 WS ಸೂಕ್ತವೇ?

ಹೌದು. 96 GB VRAM ಮತ್ತು ಸುಮಾರು 1403 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನೊಂದಿಗೆ, ಈ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ದೊಡ್ಡ ಮಾದರಿ ತೂಕಗಳನ್ನು ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿ ಇರಿಸಬಲ್ಲದು. ಒದಗಿಸಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ನೀವು ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್‌ಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನಿಯೋಜಿಸಬಹುದು.

ಈ GPU ಗ್ರಾಹಕ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ ಆಯ್ಕೆಗಳಿಗೆ ಹೋಲಿಸಿದಾಗ ಹೇಗಿದೆ?

Blackwell ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಆಗಿ, RTX PRO 6000 WS ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ 96 GB VRAM ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ, ಇದರಿಂದ ದೊಡ್ಡ ಕಾರ್ಯಭಾರಗಳು ಒಂದೇ ಕಾರ್ಡ್‌ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ. ಡೇಟಾಸೆಂಟರ್ GPU ಗಳು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡಬಹುದು, ಆದರೆ ಸಣ್ಣ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಗಳು ಹಗುರ ಕಾರ್ಯಗಳಿಗೆ ಸಾಕಾಗುತ್ತವೆ.

ಈ GPU ಗಾಗಿ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರಗಳು ಲಭ್ಯವಿವೆ?

ನಿದರ್ಶನಗಳು compute capability 12.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಬಳಕೆಗೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬರುತ್ತವೆ. ನಿಮ್ಮ ಸಾಫ್ಟ್‌ವೇರ್ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಅಗತ್ಯಕ್ಕೆ ತಕ್ಕಂತೆ ಕಸ್ಟಮೈಸ್ ಮಾಡಲು ಪೂರ್ಣ SSH ಪ್ರವೇಶವನ್ನು ಸೇರಿಸಲಾಗಿದೆ.

ONIE ನಲ್ಲಿ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿ ಬಾಡಿಗೆಗಳು ಪ್ರತಿ-ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿದರ್ಶನ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ. ನಿಮ್ಮ ಕಾರ್ಯಗಳನ್ನು ನಡೆಸಲು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಬಹುದು ಮತ್ತು ಮುಗಿದ ನಂತರ ನಿದರ್ಶನವನ್ನು ಕೊನೆಗೊಳಿಸಬಹುದು.

RTX PRO 6000 WS ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

RTX PRO 6000 WS ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →