ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ampere

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA A100 PCIE GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA A100 PCIE ಎಂಬುದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ಮೇಲೆ ನಿರ್ಮಿತವಾದ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, 40 GB VRAM ಮತ್ತು 250 W ವಿದ್ಯುತ್ ಮಿತಿಯನ್ನು ಹೊಂದಿದೆ. ಇದು ಸುಮಾರು 15.6 TFLOPS ಪ್ರಮಾಣಿತ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 1313 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಒದಗಿಸುತ್ತದೆ ಮತ್ತು CUDA compute capability 8.0 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ ನೀವು ಈ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಪ್ರತಿ ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್, SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಹಾಗೂ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಬಹುದು.

A100 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

40 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ampere

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.0

FP32 ಕಂಪ್ಯೂಟ್

≈ 15.6 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 1,313 GB/s

ಪವರ್ ಮಿತಿ

250 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

A100 PCIE ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್

vLLM ಅಥವಾ Ollama ಬಳಸಿ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸೇವೆಗೊಳಿಸಿ; token ಉತ್ಪಾದನೆಗಾಗಿ 40 GB VRAM ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಸುಮಾರು 1313 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಬಳಸಿಕೊಳ್ಳಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

compute capability 8.0 ಹೊಂದಿರುವ Ampere ಡೇಟಾಸೆಂಟರ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ PyTorch/CUDA ಮೂಲಕ ತರಬೇತಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ಚಲಾಯಿಸಿ.

ಹೈ-ರೆಸೊಲ್ಯೂಶನ್ ಇಮೇಜ್ ಉತ್ಪಾದನೆ

ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳು ಒದಗಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವ ಸಂಕೀರ್ಣ ಡಿಫ್ಯೂಷನ್ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ComfyUI ನಲ್ಲಿ ಚಲಾಯಿಸಿ.

ವೈಜ್ಞಾನಿಕ ಮತ್ತು ಡೇಟಾ ಕಂಪ್ಯೂಟಿಂಗ್

ಸುಮಾರು 15.6 TFLOPS ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಮೆಮೊರಿ-ತೀವ್ರ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು ಮತ್ತು ಡೇಟಾ ವಿಶ್ಲೇಷಣಾ ಕಾರ್ಯಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ವರ್ಕ್‌ಲೋಡ್‌ಗಳು ಗ್ರಾಹಕ GPU ಗಳ ಮೆಮೊರಿ ಮಿತಿಗಳನ್ನು ಮೀರಿ, ಹೈ-ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಡೇಟಾಸೆಂಟರ್ ಹಾರ್ಡ್‌ವೇರ್ ಅಗತ್ಯವಿದ್ದಾಗ A100 PCIE 40 GB ಆಯ್ಕೆಮಾಡಿ. ಹಗುರ ಇನ್ಫರೆನ್ಸ್‌ಗಾಗಿ ಚಿಕ್ಕ ಗ್ರಾಹಕ GPU ಆಯ್ಕೆಮಾಡಿ; ನಿಮ್ಮ ಕ್ವಾಂಟೈಜ್ ಮಾಡದ ಮಾದರಿಗಳು ಅಥವಾ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು 40 GB ಮೀರಿದರೆ, ಹೆಚ್ಚಿನ VRAM ಇರುವ ಡೇಟಾಸೆಂಟರ್ ಮಾದರಿಗೆ ಬದಲಿಸಿ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
A100 PCIE40 GBAmpere≈ 15.6 TFLOPS—
A100 SXM440 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು
Q RTX 800045 GBTuring≈ 11.9 TFLOPS—ವಿವರಗಳು
A800 PCIE80 GBAmpere≈ 15.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

A100 PCIE LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 40 GB VRAM ಮತ್ತು ಸುಮಾರು 1313 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಇದನ್ನು ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಿಗೆ ಹೊಂದದ ಮಧ್ಯಮದಿಂದ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM, Ollama, ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ನೀವು ವರ್ಕ್‌ಲೋಡ್‌ಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನಿಯೋಜಿಸಬಹುದು.

40 GB A100 PCIE ಇತರ GPU ಶ್ರೇಣಿಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

ಇದು Ampere ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಡ್ ಆಗಿರುವುದರಿಂದ, ಸಾಮಾನ್ಯ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಗಳಿಗಿಂತ ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು VRAM ಒದಗಿಸುತ್ತದೆ. ನಿಮ್ಮ ತರಬೇತಿ ಅಥವಾ ಇನ್ಫರೆನ್ಸ್ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಇನ್ನೂ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯ ಬೇಕಾದರೆ, ದೊಡ್ಡ ಡೇಟಾಸೆಂಟರ್ GPU ರೂಪಾಂತರವನ್ನು ಪರಿಗಣಿಸಬೇಕು.

ONIE ನಲ್ಲಿ ನನ್ನ ಇನ್‌ಸ್ಟಾನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡುವುದು?

ಪ್ರತಿ ಬಾಡಿಗೆಯಲ್ಲಿ ನೇರ ಕಮಾಂಡ್-ಲೈನ್ ನಿರ್ವಹಣೆಗಾಗಿ ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸೇರಿದೆ. ತಕ್ಷಣ ಕೆಲಸ ಆರಂಭಿಸಲು PyTorch/CUDA, vLLM, Ollama, ಅಥವಾ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನಿಮ್ಮ ಇನ್‌ಸ್ಟಾನ್ಸ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು.

A100 PCIE ಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿನ ಇನ್‌ಸ್ಟಾನ್ಸ್‌ಗಳು ಪ್ರತಿ ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ; ನಿಮ್ಮ ಡೇಟಾಸೆಂಟರ್ GPU ಸಕ್ರಿಯವಾಗಿರುವ ಅವಧಿಗೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸಬಹುದು.

A100 PCIE ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

A100 PCIE ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →