ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ada Lovelace

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA L40S GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA L40S ಎಂಬುದು Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಡೇಟಾಸೆಂಟರ್ GPU ಆಗಿದ್ದು, ONIE ನಲ್ಲಿ ಕ್ಲೌಡ್ ಬಾಡಿಗೆಗೆ ಲಭ್ಯವಿದೆ. ಇದು 45 GB VRAM, ಸುಮಾರು 73.3 TFLOPS ಸಿಂಗಲ್-ಪ್ರಿಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 626 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು 350 W ಪವರ್ ಎನ್ವೆಲಪ್‌ನಲ್ಲಿ ಒದಗಿಸುತ್ತದೆ. CUDA ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 8.9 ಅನ್ನು ಬೆಂಬಲಿಸುವ ಈ ಇನ್‌ಸ್ಟೆನ್ಸ್, ಬೇಡಿಕೆಯ AI ತರಬೇತಿ, ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಯಭಾರಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್‌ನೊಂದಿಗೆ.

L40S ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

45 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ada Lovelace

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.9

FP32 ಕಂಪ್ಯೂಟ್

≈ 73.3 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 626 GB/s

ಪವರ್ ಮಿತಿ

350 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

L40S ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ ಇನ್‌ಫರೆನ್ಸ್

45 GB ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯದೊಳಗೆ vLLM ಮತ್ತು Ollama ನಂತಹ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ಕ್ವಾಂಟೈಸ್ಡ್ ಅಥವಾ ಪೂರ್ಣ-ಪ್ರಿಸಿಷನ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ನಿಯೋಜಿಸಿ.

ಜನರೇಟಿವ್ ಇಮೇಜ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು

Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ಬಳಸಿ ComfyUI ನಲ್ಲಿ ಸಂಕೀರ್ಣ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಬ್ಯಾಚ್ ಜನರೇಷನ್ ಕಾರ್ಯಗಳನ್ನು ಚಲಾಯಿಸಿ.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

ಸುಮಾರು 73.3 TFLOPS ಕಂಪ್ಯೂಟ್ ಬಳಸಿ PyTorch/CUDA ಪರಿಸರಗಳಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳು ಮತ್ತು LoRA ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ಡೇಟಾಸೆಂಟರ್ ಗ್ರಾಫಿಕ್ಸ್ ಮತ್ತು ರೆಂಡರಿಂಗ್

ಸುಮಾರು 626 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಹೊಂದಿರುವ ಡೇಟಾಸೆಂಟರ್ GPU ನ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಹೆಡ್‌ಲೆಸ್ ರೆಂಡರಿಂಗ್ ಮತ್ತು ಸಿಮ್ಯುಲೇಶನ್ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ನಿಮ್ಮ ಕಾರ್ಯಭಾರಕ್ಕೆ 45 GB VRAM ಮತ್ತು ಡೇಟಾಸೆಂಟರ್ ವಿಶ್ವಾಸಾರ್ಹತೆ ಬೇಕಾದಾಗ L40S ಆಯ್ಕೆಮಾಡಿ, ಇದು ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ ಮೇಲಿನ ಮಟ್ಟ. ನಿಮ್ಮ ಮಾದರಿಗಳು ಕಡಿಮೆ ಮೆಮೊರಿಯಲ್ಲಿ ಹೊಂದಿಕೊಂಡರೆ, ಚಿಕ್ಕ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಗ್ರಾಹಕ GPU ಹೆಚ್ಚು ಆರ್ಥಿಕವಾಗಿರುತ್ತದೆ; ಕ್ವಾಂಟೈಸ್ ಮಾಡದ ಅತಿ ದೊಡ್ಡ ಫೌಂಡೇಶನ್ ಮಾದರಿಗಳಿಗೆ ದೊಡ್ಡ ಮೆಮೊರಿಯ ಡೇಟಾಸೆಂಟರ್ GPU ಬೇಕಾಗುತ್ತದೆ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
L40S45 GBAda Lovelace≈ 73.3 TFLOPS—
RTX PRO 500048 GBBlackwell≈ 69.6 TFLOPS—ವಿವರಗಳು
RTX 6000Ada48 GBAda Lovelace≈ 81.4 TFLOPS—ವಿವರಗಳು
RTX 6000D84 GBBlackwell≈ 77.6 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

NVIDIA L40S LLM ಇನ್‌ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು. 45 GB VRAM ಮತ್ತು CUDA ಕಂಪ್ಯೂಟ್ ಕೆಪ್ಯಾಬಿಲಿಟಿ 8.9 ಇರುವುದರಿಂದ, L40S ಮಧ್ಯಮದಿಂದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ನಡೆಸಲು ಚೆನ್ನಾಗಿ ಸೂಕ್ತವಾಗಿದೆ. ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ vLLM, Ollama ಅಥವಾ PyTorch/CUDA ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು.

L40S ಅನ್ನು ಗ್ರಾಹಕ GPU ಗಳು ಅಥವಾ ದೊಡ್ಡ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳೊಂದಿಗೆ ಹೇಗೆ ಹೋಲಿಸಲಾಗುತ್ತದೆ?

ಸಾಮಾನ್ಯ ಗ್ರಾಹಕ Ada Lovelace ಕಾರ್ಡ್‌ಗಳಿಗಿಂತ L40S ಹೆಚ್ಚಿನ VRAM ಒದಗಿಸುತ್ತದೆ, ಇದರಿಂದ ಮಾದರಿ ತೂಕಗಳನ್ನು ಆಫ್‌ಲೋಡ್ ಮಾಡದೆ ದೊಡ್ಡದನ್ನು ಹಿಡಿದಿಡಬಹುದು. ಆದರೆ, ಹೆಚ್ಚಿನ ಮೆಮೊರಿಯ ಕಂಪ್ಯೂಟ್-ಮಾತ್ರ ಡೇಟಾಸೆಂಟರ್ GPU ಗಳಿಗಿಂತ ಇದರ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಕಡಿಮೆ; ಬೃಹತ್ ಮೆಮೊರಿ-ಬೌಂಡ್ ತರಬೇತಿ ಕಾರ್ಯಗಳಿಗೆ ಅವು ಹೆಚ್ಚು ಸೂಕ್ತ.

ONIE ನಲ್ಲಿ ನನ್ನ L40S ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡುವುದು?

ಇನ್‌ಸ್ಟೆನ್ಸ್ ಬೂಟ್ ಆದ ತಕ್ಷಣ ನಿಮ್ಮ ಪರಿಸರಕ್ಕೆ ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸಿಗುತ್ತದೆ. ತಕ್ಷಣ ಕೆಲಸ ಆರಂಭಿಸಲು PyTorch/CUDA, ComfyUI, vLLM ಮತ್ತು Ollama ಸೇರಿದಂತೆ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನೂ ಆಯ್ಕೆ ಮಾಡಬಹುದು.

L40S ಗೆ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ಎಲ್ಲಾ L40S ಬಾಡಿಗೆಗಳಿಗೆ ಪ್ರತಿ ಗಂಟೆಗೆ ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ನಿಮಗೆ ಹಂಚಲ್ಪಟ್ಟಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.

L40S ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

L40S ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →