ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ada Lovelace

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA L4 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA L4 ಎಂಬುದು 22 GB VRAM ಮತ్ತು 72 W ವಿದ್ಯುತ್ ಹೊದಿಕೆಯನ್ನು ಹೊಂದಿರುವ Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದೆ. ಇದು CUDA ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 8.9 ನೊಂದಿಗೆ ಸುಮಾರು 24.2 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸುಮಾರು 221 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತದೆ. ONIE ನಲ್ಲಿ ಪ್ರತಿ ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್, ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಮತ್ತು PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಇದನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.

L4 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

22 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ada Lovelace

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.9

FP32 ಕಂಪ್ಯೂಟ್

≈ 24.2 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 221 GB/s

ಪವರ್ ಮಿತಿ

72 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

L4 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ಭಾಷಾ ಮಾದರಿ ಇನ್‌ಫರೆನ್ಸ್

ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ, 22 GB VRAM ಬಫರ್‌ನಲ್ಲಿ ಕ್ವಾಂಟೈಸ್ ಮಾಡಲಾದ ಅಥವಾ ಸಣ್ಣ-ಮಧ್ಯಮ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.

ಚಿತ್ರ ಉತ್ಪಾದನಾ ಕಾರ್ಯಪ್ರವಾಹಗಳು

Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು, 22 GB ಮೆಮೊರಿಯೊಳಗೆ ಆರಾಮವಾಗಿ ಹೊಂದುವ ComfyUI ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಿ.

ಹಗುರ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

ಹೆಚ್ಚಿನ ವಿದ್ಯುತ್ ಸಾಮರ್ಥ್ಯದ ಡೇಟಾಸೆಂಟರ್ ಕಾರ್ಡ್ ಅಗತ್ಯವಿಲ್ಲದೆ, PyTorch/CUDA ಪರಿಸರಗಳಲ್ಲಿ ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ಅಡಾಪ್ಟರ್ ತರಬೇತಿ ಕಾರ್ಯಗಳನ್ನು ನಡೆಸಿ.

ಬ್ಯಾಚ್ ಮೀಡಿಯಾ ಮತ್ತು ದೃಷ್ಟಿ

72 W ರೇಟಿಂಗ್ ಹೊಂದಿರುವ ಡೇಟಾಸೆಂಟರ್ GPU ನಲ್ಲಿ ಕಂಪ್ಯೂಟರ್ ವಿಷನ್ ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ವೀಡಿಯೊ ಕಾರ್ಯಭಾರಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ಇನ್‌ಫರೆನ್ಸ್ ಅಥವಾ ಮಧ್ಯಮ ತರಬೇತಿ ಕಾರ್ಯಭಾರಗಳಿಗಾಗಿ 22 GB VRAM ಮತ್ತು Ada Lovelace ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 8.9 ಅಗತ್ಯವಿದ್ದಾಗ L4 ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಮಾದರಿಗಳು 22 GB ಮೀರಿದರೆ ಅಥವಾ ಸುಮಾರು 221 GB/s ಗಿಂತ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅಗತ್ಯವಿದ್ದರೆ ದೊಡ್ಡ ಡೇಟಾಸೆಂಟರ್ GPU ಗೆ ಬದಲಿಸಿ, ಅಥವಾ ಕಡಿಮೆ ಮೆಮೊರಿ ಅಗತ್ಯವಿರುವ ಮೂಲ ಅಭಿವೃದ್ಧಿ ಕಾರ್ಯಗಳಿಗಾಗಿ ಚಿಕ್ಕ ಕಾರ್ಡ್ ಆಯ್ಕೆಮಾಡಿ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
L422 GBAda Lovelace≈ 24.2 TFLOPS—
RTX 5060 Ti16 GBBlackwell≈ 22.8 TFLOPS—ವಿವರಗಳು
RTX 4060 Ti16 GBAda Lovelace≈ 21.6 TFLOPS—ವಿವರಗಳು
RTX A400016 GBAmpere≈ 20.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

NVIDIA L4 LLM ಇನ್‌ಫರೆನ್ಸ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, 22 GB VRAM ನಿಮಗೆ ಸಣ್ಣ ಮತ್ತು ಮಧ್ಯಮ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಅಥವಾ ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ವೆಯ್ಟ್‌ಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. ಮಾದರಿಗಳನ್ನು ತಕ್ಷಣ ಸರ್ವ್ ಮಾಡಲು ONIE ನಲ್ಲಿ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು.

L4 ದೊಡ್ಡ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

L4 ಅನ್ನು 72 W ವಿದ್ಯುತ್ ಬಳಕೆ, ಸುಮಾರು 24.2 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 221 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನೊಂದಿಗೆ ದಕ್ಷತೆಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ದೊಡ್ಡ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳು ಭಾರೀ ತರಬೇತಿಗಾಗಿ ಹೆಚ್ಚಿನ VRAM ಮತ್ತು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನೀಡುತ್ತವೆ, ಆದರೆ L4 ವೆಚ್ಚ-ದಕ್ಷ ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಹಗುರ ಕಾರ್ಯಭಾರಗಳ ಮೇಲೆ ಗಮನಹರಿಸುತ್ತದೆ.

ONIE ನಲ್ಲಿ L4 ಗಾಗಿ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಲಭ್ಯವಿವೆ?

PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ L4 ಅನ್ನು ನಿಯೋಜಿಸಬಹುದು. ಎಲ್ಲಾ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಲ್ಲಿ SSH ಪ್ರವೇಶ ಇರುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ನಿಮ್ಮ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರ ಮತ್ತು CUDA ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ 8.9 ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಕಸ್ಟಮೈಸ್ ಮಾಡಬಹುದು.

L4 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE L4 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಪ್ರತಿ ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ, ಇದು ಕಡಿಮೆ ಅವಧಿಯ ಪ್ರಯೋಗಗಳು ಮತ್ತು ನಿರಂತರ ಇನ್‌ಫರೆನ್ಸ್ ಕಾರ್ಯಗಳೆರಡಕ್ಕೂ ಪ್ರಾಯೋಗಿಕವಾಗಿಸುತ್ತದೆ.

L4 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

L4 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →