ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ampere

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX A6000 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA RTX A6000 ಒಂದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಆಗಿದ್ದು, 48 GB VRAM ಮತ್ತು compute capability 8.6 ಅನ್ನು ಹೊಂದಿದೆ. ಇದು 300 W ವಿದ್ಯುತ್ ಮಿತಿಯೊಳಗೆ ಸುಮಾರು 36.1 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ compute ಮತ್ತು ಸುಮಾರು 651 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ONIE ನಲ್ಲಿ, ನೀವು ಈ ಕಾರ್ಡ್ ಅನ್ನು ಪ್ರತಿ-ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್, ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ನಿಯೋಜಿಸಬಹುದು.

RTX A6000 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

48 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ampere

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.6

FP32 ಕಂಪ್ಯೂಟ್

≈ 36.1 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 651 GB/s

ಪವರ್ ಮಿತಿ

300 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

RTX A6000 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM) ಇನ್ಫರೆನ್ಸ್

48 GB ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯವನ್ನು ಬಳಸಿಕೊಂಡು ದೊಡ್ಡ ತೂಕಗಳು ಮತ್ತು context ಅನ್ನು ಹಿಡಿದಿಡಿ, vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

ಉದಾರವಾದ ವರ್ಕ್‌ಸ್ಟೇಷನ್ VRAM ಕಾರಣದಿಂದ, ಪದೇ ಪದೇ out-of-memory ದೋಷಗಳಿಲ್ಲದೆ PyTorch/CUDA ನಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ತರಬೇತಿ ಮಾಡಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಜನರೇಟಿವ್ ಇಮೇಜ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು

48 GB ಬಫರ್‌ನಲ್ಲಿ ಹಲವು checkpoint ಗಳನ್ನು ಲೋಡ್ ಮಾಡಿಟ್ಟುಕೊಂಡು, ComfyUI ನಲ್ಲಿ ಸಂಕೀರ್ಣ diffusion ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ನೋಡ್ ಗ್ರಾಫ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ.

ವರ್ಕ್‌ಸ್ಟೇಷನ್ ರೆಂಡರಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್

Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಸುಮಾರು 651 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಭಾರೀ ದೃಶ್ಯಗಳು ಮತ್ತು compute ಕಾರ್ಯಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳ ಮೆಮೊರಿ ಮಿತಿಯನ್ನು ಮೀರಿ, ದೊಡ್ಡ ಮಾದರಿಗಳು ಅಥವಾ batch ಗಾತ್ರಗಳಿಗೆ 48 GB VRAM ಅಗತ್ಯವಿದ್ದಾಗ RTX A6000 ಆಯ್ಕೆಮಾಡಿ. ಹಗುರ ಇನ್ಫರೆನ್ಸ್‌ಗಾಗಿ ಸಣ್ಣ ಗ್ರಾಹಕ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ವರ್ಕ್‌ಫ್ಲೋಗೆ ಸುಮಾರು 651 GB/s ಗಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬೇಕಾದರೆ ಹೊಸ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅಥವಾ datacenter GPU ಗೆ ಮೇಲ್ದರ್ಜೆಗೇರಿ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
RTX A600048 GBAmpere≈ 36.1 TFLOPS—
A4045 GBAmpere≈ 29.9 TFLOPS—ವಿವರಗಳು
RTX 3090 Ti24 GBAmpere≈ 36.4 TFLOPS—ವಿವರಗಳು
H100 PCIE80 GBHopper≈ 41 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

RTX A6000 LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 48 GB VRAM ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಿಗೆ ಹೊಂದದ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಉತ್ತಮವಾಗಿ ಸೂಕ್ತವಾಗಿದೆ. ONIE ನಲ್ಲಿ ಸಿದ್ಧ vLLM, Ollama, ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಬಹುದು.

ಈ Ampere ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಕಾರ್ಡ್ ಹೊಸ ಅಥವಾ ದೊಡ್ಡ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

RTX A6000 ದೊಡ್ಡ 48 GB ಮೆಮೊರಿ ಬಫರ್, compute capability 8.6 ಮತ್ತು ಸುಮಾರು 36.1 TFLOPS compute ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ compute ಅಥವಾ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನಿಂದ ಸೀಮಿತವಾಗಿದ್ದರೆ, ಹೊಸ ತಲೆಮಾರಿನ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಕಾರ್ಡ್ ಅಥವಾ datacenter GPU ಹೆಚ್ಚಿನ throughput ನೀಡುತ್ತದೆ.

ನನ್ನ RTX A6000 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ನಿರ್ವಹಿಸುವುದು?

ONIE ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳು ನಿಮ್ಮ ಪರಿಸರದ ಮೇಲೆ ಸಂಪೂರ್ಣ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ನೇರ SSH ಪ್ರವೇಶವನ್ನು ಒದಗಿಸುತ್ತವೆ. ಹಸ್ತಚಾಲಿತ ಸೆಟಪ್ ಬಿಟ್ಟುಬಿಡಲು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಪೂರ್ವನಿರ್ಮಿತ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಸಹ ಪ್ರಾರಂಭಿಸಬಹುದು.

RTX A6000 ಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿ ಬಾಡಿಗೆಗಳು ಪ್ರತಿ-ಗಂಟೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ, ಇದರಿಂದ ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಅವಧಿಗೆ ಮಾತ್ರ ಪಾವತಿಸಬಹುದು.

RTX A6000 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

RTX A6000 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →