ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ampere

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA A800 PCIE GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA A800 PCIE ಒಂದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, 80 GB VRAM ಹೊಂದಿದೆ. ಇದು ಸುಮಾರು 1598 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು ಸುಮಾರು 15.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು 300 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ ನೀಡುತ್ತದೆ. ONIE ನಲ್ಲಿ ನೀವು ಈ ಕಾರ್ಡ್ ಅನ್ನು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್, ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama, ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನಿಯೋಜಿಸಬಹುದು.

A800 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

80 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ampere

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 15.6 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 1,598 GB/s

ಪವರ್ ಮಿತಿ

300 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

A800 PCIE ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್‌ಫರೆನ್ಸ್

ಪೂರ್ವ-ಸಂರಚಿಸಿದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ, 80 GB VRAM ಬಫರ್‌ನಲ್ಲಿಯೇ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಹೋಸ್ಟ್ ಮಾಡಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

PyTorch/CUDA ನಲ್ಲಿ ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು ಮತ್ತು ದೀರ್ಘ ಸಂದರ್ಭ ವಿಂಡೋಗಳೊಂದಿಗೆ ಮಾದರಿಗಳನ್ನು ತರಬೇತುಗೊಳಿಸಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ, ಮೆಮೊರಿ ಅಡಚಣೆಗಳನ್ನು ಎದುರಿಸದೆ.

ಹೈ-ಥ್ರೂಪುಟ್ ಬ್ಯಾಚ್ ಪ್ರಕ್ರಿಯೆ

ಡೇಟಾ-ತೀವ್ರ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಕಾರ್ಯಭಾರಗಳು ಮತ್ತು ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಸುಮಾರು 1598 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಬಳಸಿಕೊಳ್ಳಿ.

ಸಂಕೀರ್ಣ ಜನರೇಟಿವ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು

ComfyUI ನಲ್ಲಿ ಬಹು-ಮಾದರಿ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ರನ್ ಮಾಡಿ, ಹಲವು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಮೆಮೊರಿಯಲ್ಲಿ ಲೋಡ್ ಆಗಿರಿಸಿಕೊಳ್ಳಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಮುಖ್ಯ ಅವಶ್ಯಕತೆ ಕಚ್ಚಾ ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್‌ಗಿಂತ ದೊಡ್ಡ ಪ್ರಮಾಣದ AI ಮಾದರಿಗಳಿಗೆ 80 GB ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯವಾಗಿದ್ದರೆ A800 PCIE ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಕಾರ್ಯಭಾರ ಚಿಕ್ಕ ಮೆಮೊರಿ ಹೆಜ್ಜೆಗುರುತಿನಲ್ಲಿ ಹೊಂದಿಕೊಂಡರೆ, ಕಡಿಮೆ VRAM ಹೊಂದಿರುವ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಕನ್ಸ್ಯೂಮರ್ GPU ಹೆಚ್ಚು ಸೂಕ್ತ. ಕಂಪ್ಯೂಟ್-ಬೌಂಡ್ ಕಾರ್ಯಗಳು ಹೊಸ ಜನರೇಷನ್ ಡೇಟಾಸೆಂಟರ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯಬಹುದು.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
A800 PCIE80 GBAmpere≈ 15.6 TFLOPS—
CMP 170HX64 GBAmpere≈ 12.1 TFLOPS—ವಿವರಗಳು
A100 PCIE40 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು
A100 SXM440 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

NVIDIA A800 PCIE ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ ಕಾರ್ಯಭಾರಗಳಿಗೆ ಸೂಕ್ತವೇ?

ಹೌದು. ಇದರ 80 GB VRAM ಮತ್ತು ಸುಮಾರು 1598 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಇದನ್ನು ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಕನ್ಸ್ಯೂಮರ್ ಕಾರ್ಡ್‌ಗಳ ಸಾಮರ್ಥ್ಯ ಮೀರುವ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸೇವೆ ಮಾಡಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ಆಧುನಿಕ AI ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳೊಂದಿಗೆ ವ್ಯಾಪಕ ಹೊಂದಾಣಿಕೆಗಾಗಿ ಇದು CUDA ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 8.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಈ GPU ಚಿಕ್ಕ ಅಥವಾ ಹೊಸ ಡೇಟಾಸೆಂಟರ್ ಮಾದರಿಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗೆ?

A800 PCIE ಆಂಪಿಯರ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ 80 GB ಮೆಮೊರಿ ಪೂಲ್ ನೀಡುತ್ತದೆ, ಇದು ಕಡಿಮೆ ಸಾಮರ್ಥ್ಯದ ಕಾರ್ಡ್‌ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಮೆಮೊರಿ-ಬೌಂಡ್ ಕಾರ್ಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ಆದರೆ, ಸುಮಾರು 15.6 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಾರ್ಯಕ್ಷಮತೆಯೊಂದಿಗೆ, ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯಕ್ಕಿಂತ ಕಚ್ಚಾ ಕಂಪ್ಯೂಟ್ ಮೇಲೆ ಹೆಚ್ಚು ಅವಲಂಬಿತವಾಗಿರುವ ಕಾರ್ಯಭಾರಗಳು ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರ್ ಜನರೇಷನ್‌ಗಳಲ್ಲಿ ವೇಗವಾಗಿ ನಡೆಯಬಹುದು.

ನನ್ನ A800 PCIE ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಸಂರಚಿಸುವುದು?

ONIE ನಲ್ಲಿರುವ ಪ್ರತಿ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ನಲ್ಲಿ ನಿಮ್ಮ ಪರಿಸರದ ಮೇಲೆ ಸಂಪೂರ್ಣ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ನೇರ SSH ಪ್ರವೇಶ ಒಳಗೊಂಡಿದೆ. PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಬಹುದು.

A800 PCIE ಬಾಡಿಗೆಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ಎಲ್ಲಾ GPU ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಸರಳ ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ, ಇದರಿಂದ ಅಗತ್ಯಕ್ಕೆ ತಕ್ಕಂತೆ ನಿಮ್ಮ ಡೇಟಾಸೆಂಟರ್ ಕಂಪ್ಯೂಟ್ ಬಳಕೆಯನ್ನು ಸ್ಕೇಲ್ ಮಾಡಬಹುದು.

A800 PCIE ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

A800 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →