ಲಾಗ್ ಇನ್
GPU Cloud · NVIDIA · Ada Lovelace

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX 4070 GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

NVIDIA RTX 4070 ಒಂದು ಗ್ರಾಹಕ ವಿಭಾಗದ GPU ಆಗಿದ್ದು, Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತವಾಗಿದೆ ಮತ್ತು ONIE ನಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಲಭ್ಯವಿದೆ. ಇದರಲ್ಲಿ 12 GB VRAM, ಸುಮಾರು 440 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು ಸುಮಾರು 29.3 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಷನ್ ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯಕ್ಷಮತೆ ಇದೆ, ಇದು 200 W ವಿದ್ಯುತ್ ಹೊದಿಕೆಯೊಳಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. CUDA compute capability 8.9 ಅನ್ನು ಬೆಂಬಲಿಸುವ ಈ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಣ್ಣ ಪ್ರಮಾಣದ AI ಇನ್‌ಫರೆನ್ಸ್, ಇಮೇಜ್ ಜನರೇಷನ್ ಮತ್ತು ಕೋಡ್ ಅಭಿವೃದ್ಧಿಗೆ ಸೂಕ್ತವಾಗಿದೆ.

RTX 4070 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

12 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ada Lovelace

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.9

FP32 ಕಂಪ್ಯೂಟ್

≈ 29.3 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 440 GB/s

ಪವರ್ ಮಿತಿ

200 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

RTX 4070 ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ಕ್ವಾಂಟೈಜ್ಡ್ LLM ಇನ್‌ಫರೆನ್ಸ್

Ollama ಅಥವಾ vLLM ನಂತಹ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ, 12 GB VRAM ಬಫರ್‌ನೊಳಗೆ ಸಣ್ಣ ಅಥವಾ ಕ್ವಾಂಟೈಜ್ ಮಾಡಲಾದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡಿ.

ಡಿಫ್ಯೂಷನ್ ಇಮೇಜ್ ಜನರೇಷನ್

Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಸುಮಾರು 29.3 TFLOPS ಕಂಪ್ಯೂಟ್ ಬಳಸಿ ComfyUI ನಲ್ಲಿ ಚಿತ್ರಗಳನ್ನು ರಚಿಸಿ ಮತ್ತು ನೋಡ್ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.

PyTorch ಪ್ರೋಟೋಟೈಪಿಂಗ್ ಮತ್ತು ಡಿಬಗ್ಗಿಂಗ್

ದೊಡ್ಡ ಪ್ರಮಾಣಕ್ಕೆ ವಿಸ್ತರಿಸುವ ಮೊದಲು, compute capability 8.9 ಇರುವ PyTorch/CUDA ಪರಿಸರದಲ್ಲಿ ಡೀಪ್ ಲರ್ನಿಂಗ್ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಬರೆಯಿರಿ, ಪರೀಕ್ಷಿಸಿ ಮತ್ತು ಡಿಬಗ್ ಮಾಡಿ.

ಲಘು ಮಾದರಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್

ಸುಮಾರು 440 GB/s ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನೊಂದಿಗೆ 12 GB ಮೆಮೊರಿಯೊಳಗೆ ಸುಲಭವಾಗಿ ಹೊಂದುವ ಸಣ್ಣ ಡೇಟಾಸೆಟ್‌ಗಳ ಮೇಲೆ ಪ್ಯಾರಾಮೀಟರ್-ದಕ್ಷ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ನಡೆಸಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

ಆಧುನಿಕ Ada Lovelace ಆರ್ಕಿಟೆಕ್ಚರ್ ವೈಶಿಷ್ಟ್ಯಗಳು ಮತ್ತು ಪ್ರೋಟೋಟೈಪಿಂಗ್ ಅಥವಾ ಮಧ್ಯಮ ಇನ್‌ಫರೆನ್ಸ್ ಕಾರ್ಯಭಾರಕ್ಕಾಗಿ 12 GB VRAM ಬೇಕಾದ ಡೆವಲಪರ್‌ಗಳಿಗೆ RTX 4070 ಪ್ರಾಯೋಗಿಕ ಆಯ್ಕೆಯಾಗಿದೆ. ನಿಮ್ಮ ಮಾದರಿಗಳು ಅಥವಾ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು 12 GB ಮೀರಿದರೆ, ಹೆಚ್ಚಿನ VRAM ಇರುವ GPU ಆಯ್ಕೆಮಾಡಿ; ನೀವು ಕೇವಲ ಸಣ್ಣ ಪರೀಕ್ಷಾ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಮಾತ್ರ ಚಲಾಯಿಸಿದರೆ, ಹಳೆಯ ಅಥವಾ ಸಣ್ಣ ಗ್ರಾಹಕ GPU ಆಯ್ಕೆ ಮಾಡಬಹುದು.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPUಪ್ರತಿ GPUಗೆ VRAMಆರ್ಕಿಟೆಕ್ಚರ್FP32 ಕಂಪ್ಯೂಟ್ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭವಿವರಗಳು
RTX 407012 GBAda Lovelace≈ 29.3 TFLOPS—
RTX 308010 GBAmpere≈ 29.5 TFLOPS—ವಿವರಗಳು
RTX 3080 Ti12 GBAmpere≈ 35.1 TFLOPS—ವಿವರಗಳು
RTX 4070S12 GBAda Lovelace≈ 35.8 TFLOPS—ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

RTX 4070 LLM ಇನ್‌ಫರೆನ್ಸ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, 12 GB VRAM ಮತ್ತು ಸುಮಾರು 440 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನಿಂದ ಸಣ್ಣ ಅಥವಾ ಕ್ವಾಂಟೈಜ್ ಮಾಡಲಾದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ದಕ್ಷವಾಗಿ ರನ್ ಮಾಡಲು ಸಾಧ್ಯ. ONIE ನಲ್ಲಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ Ollama ಅಥವಾ vLLM ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ ಈ ಕಾರ್ಯಭಾರಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನಿಯೋಜಿಸಬಹುದು.

RTX 4070 ಬದಲು ದೊಡ್ಡ GPU ಯಾವಾಗ ಆಯ್ಕೆ ಮಾಡಬೇಕು?

ನಿಮ್ಮ ಕಾರ್ಯಭಾರದಲ್ಲಿ ಪೂರ್ಣ ಫೈನ್-ಟ್ಯೂನಿಂಗ್, ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು ಅಥವಾ 12 GB VRAM ಮಿತಿ ಮೀರುವ ಕ್ವಾಂಟೈಜ್ ಮಾಡದ ಮಾದರಿಗಳು ಇದ್ದರೆ, ಹೆಚ್ಚಿನ ಶ್ರೇಣಿಯ ಗ್ರಾಹಕ ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಆಯ್ಕೆ ಮಾಡಿ. RTX 4070 ಹಗುರ ತರಬೇತಿ ಮತ್ತು ಮಧ್ಯಮ ಇನ್‌ಫರೆನ್ಸ್ ಕಾರ್ಯಗಳಿಗಾಗಿ ಉದ್ದೇಶಿಸಲಾಗಿದೆ.

ಈ GPU ಗೆ ಯಾವ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಸರಗಳು ಲಭ್ಯವಿವೆ?

ONIE ನಲ್ಲಿ PyTorch/CUDA, vLLM, Ollama ಮತ್ತು ComfyUI ಸೇರಿದಂತೆ ಬಳಸಲು ಸಿದ್ಧವಿರುವ ಟೆಂಪ್ಲೇಟ್‌ಗಳು ಲಭ್ಯವಿವೆ; ಇವೆಲ್ಲವೂ CUDA compute capability 8.9 ಜೊತೆ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ. ಜೊತೆಗೆ ಕಸ್ಟಮ್ ಲೈಬ್ರರಿಗಳನ್ನು ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಲು ಮತ್ತು ಫೈಲ್‌ಗಳನ್ನು ನೇರವಾಗಿ ನಿರ್ವಹಿಸಲು ಪೂರ್ಣ SSH ಪ್ರವೇಶ ಸಿಗುತ್ತದೆ.

RTX 4070 ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳ ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳಿಗೆ ಗಂಟೆ ಆಧಾರಿತ ಬಿಲ್ಲಿಂಗ್ ಇದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ RTX 4070 ಇನ್‌ಸ್ಟೆನ್ಸ್ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.

RTX 4070 ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

RTX 4070 ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →