GPU Cloud · NVIDIA · Ampere

ಗಂಟೆಯ ಆಧಾರದ ಮೇಲೆ NVIDIA RTX 3090 Ti GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

Q: RTX 3090 Ti LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಇಮೇಜ್ ಜನರೇಶನ್ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 24 GB VRAM ಮತ್ತು ಸುಮಾರು 865 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಮಧ್ಯಮ ಗಾತ್ರದ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ಇಮೇಜ್ ಜನರೇಶನ್ ವರ್ಕ್ಫ್ಲೋಗಳನ್ನು ಚಲಾಯಿಸಲು ಇದನ್ನು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಲು vLLM, Ollama ಅಥವಾ ComfyUI ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ನೀವು ಲಾಂಚ್ ಮಾಡಬಹುದು.

Q: ONIE ನಲ್ಲಿರುವ ನನ್ನ RTX 3090 Ti ಇನ್ಸ್ಟೆನ್ಸ್ಗೆ ನಾನು ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು?

ನಿಮ್ಮ ಇನ್ಸ್ಟೆನ್ಸ್ ಚಾಲನೆಯಲ್ಲಿದ ನಂತರ, ಸಂಪೂರ್ಣ ಕಮಾಂಡ್-ಲೈನ್ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ನೀವು ನೇರವಾಗಿ SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಬಹುದು. CUDA ಜೊತೆಗಿನ PyTorch, vLLM, Ollama ಅಥವಾ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ಗಳನ್ನು ಸಹ ನೀವು ನಿಯೋಜಿಸಬಹುದು.

Q: ಈ GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಲು ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿನ ಇನ್ಸ್ಟೆನ್ಸ್ಗಳು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ, ಇದರಿಂದ ನಿಮ್ಮ RTX 3090 Ti ಪರಿಸರ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸಬಹುದು.

NVIDIA RTX 3090 Ti ಒಂದು Ampere ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ಗ್ರಾಹಕ GPU ಆಗಿದ್ದು, ಇದರಲ್ಲಿ 24 GB VRAM ಮತ್ತು 450 W ಉಷ್ಣ ವಿನ್ಯಾಸ ವಿದ್ಯುತ್ (TDP) ಇದೆ. ಇದು ಸುಮಾರು 36.4 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಶನ್ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸುಮಾರು 865 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಒದಗಿಸುತ್ತದೆ, ಮತ್ತು CUDA compute capability 8.6 ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ONIE ನಲ್ಲಿ ನೀವು ಈ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್, ನೇರ SSH ಪ್ರವೇಶ ಮತ್ತು ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಬಾಡಿಗೆಗೆ ಪಡೆಯಬಹುದು.

RTX 3090 Ti ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ವಿವರಣೆಗಳು

ಪ್ರತಿ GPUಗೆ VRAM

24 GB

ಆರ್ಕಿಟೆಕ್ಚರ್

NVIDIA Ampere

ಕಂಪ್ಯೂಟ್ ಸಾಮರ್ಥ್ಯ

8.6

FP32 ಕಂಪ್ಯೂಟ್

≈ 36.4 TFLOPS

ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

≈ 865 GB/s

ಪವರ್ ಮಿತಿ

450 W

ಪ್ರಸ್ತುತ ಪಟ್ಟಿಮಾಡಲಾದ ಯಂತ್ರಗಳಿಗೆ ಮೂಲಸೌಕರ್ಯ ಒದಗಿಸುವವರು ವರದಿ ಮಾಡಿದ ಮೌಲ್ಯಗಳು; ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಯಂತ್ರದಿಂದ ಯಂತ್ರಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ಲಭ್ಯವಿರುವ ಸಂರಚನೆಗಳು

ನೇರ ಸ್ಟಾಕ್ ಮತ್ತು ಬೆಲೆಗಳು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ.

ನೇರ ಬೆಲೆಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ…

RTX 3090 Ti ಯಾವುದಕ್ಕೆ ಒಳ್ಳೆಯದು

ಸ್ಥಳೀಯ LLM ಇನ್ಫರೆನ್ಸ್

ಸಿದ್ಧ vLLM ಅಥವಾ Ollama ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಬಳಸಿ, 24 GB VRAM ಒಳಗೆ ಆರಾಮವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವ ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಿ.

ಜನರೇಟಿವ್ ಇಮೇಜ್ ವರ್ಕ್‌ಫ್ಲೋಗಳು

ComfyUI ಟೆಂಪ್ಲೇಟ್ ಬಳಸಿ ಸಂಕೀರ್ಣ ಡಿಫ್ಯೂಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ನೋಡ್ ಗ್ರಾಫ್‌ಗಳನ್ನು ಚಲಾಯಿಸಿ, ಸುಮಾರು 865 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಬಳಸಿಕೊಂಡು.

ಡೀಪ್ ಲರ್ನಿಂಗ್ ಪ್ರೊಟೋಟೈಪಿಂಗ್

CUDA compute capability 8.6 ಮತ್ತು ಸುಮಾರು 36.4 TFLOPS ಸಿಂಗಲ್-ಪ್ರೆಸಿಶನ್ ಕಂಪ್ಯೂಟ್ ಹೊಂದಿರುವ PyTorch ನಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿ ಮತ್ತು ಪರೀಕ್ಷಿಸಿ.

LoRA ಫೈನ್-ಟ್ಯೂನಿಂಗ್

24 GB ಮೆಮೊರಿ ಮಿತಿಯನ್ನು ಮೀರದೆ, ಹಗುರ ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ತರಬೇತಿಗೊಳಿಸಿ ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ದೃಷ್ಟಿ ಅಥವಾ ಪಠ್ಯ ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ.

ನಿಮಗೆ ಇದು ಸರಿಯಾದ GPU ಆಗಿದೆಯೇ?

RTX 3090 Ti ಇನ್ಫರೆನ್ಸ್ ಅಥವಾ ಮಧ್ಯಮ ತರಬೇತಿ ಕಾರ್ಯಗಳಿಗಾಗಿ Ampere ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ನಲ್ಲಿ 24 GB VRAM ಬೇಕಾದ ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಸಂಶೋಧಕರಿಗೆ ಪ್ರಾಯೋಗಿಕ ಆಯ್ಕೆಯಾಗಿದೆ. ನೀವು ಸಣ್ಣ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಚಲಾಯಿಸಿದರೆ ಕಡಿಮೆ ಮೆಮೊರಿಯ GPU ಆಯ್ಕೆಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆಗೆ 24 GB VRAM ಗಿಂತ ಹೆಚ್ಚು ಅಥವಾ ಹೊಸ ವಾಸ್ತುಶಿಲ್ಪ ವೈಶಿಷ್ಟ್ಯಗಳು ಬೇಕಾದರೆ ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಅಥವಾ ಡೇಟಾಸೆಂಟರ್ GPU ಗೆ ಅಪ್‌ಗ್ರೇಡ್ ಮಾಡಿ.

ಇದೇ ರೀತಿಯ GPUಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ

GPU	ಪ್ರತಿ GPUಗೆ VRAM	ಆರ್ಕಿಟೆಕ್ಚರ್	FP32 ಕಂಪ್ಯೂಟ್	ಪ್ರತಿ ಗಂಟೆಗೆ ಆರಂಭ	ವಿವರಗಳು
RTX 3090 Ti	24 GB	Ampere	≈ 36.4 TFLOPS	—
RTX 3090	24 GB	Ampere	≈ 35.4 TFLOPS	—	ವಿವರಗಳು
RTX 4500Ada	24 GB	Ada Lovelace	≈ 38.2 TFLOPS	—	ವಿವರಗಳು
RTX PRO 4000	24 GB	Blackwell	≈ 44.3 TFLOPS	—	ವಿವರಗಳು

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

RTX 3090 Ti LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಇಮೇಜ್ ಜನರೇಶನ್‌ಗೆ ಸೂಕ್ತವೇ?

ಹೌದು, ಇದರ 24 GB VRAM ಮತ್ತು ಸುಮಾರು 865 GB/s ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮಧ್ಯಮ ಗಾತ್ರದ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ಡ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಮತ್ತು ಇಮೇಜ್ ಜನರೇಶನ್ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಚಲಾಯಿಸಲು ಇದನ್ನು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ತಕ್ಷಣ ಪ್ರಾರಂಭಿಸಲು vLLM, Ollama ಅಥವಾ ComfyUI ಗಾಗಿ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ನೀವು ಲಾಂಚ್ ಮಾಡಬಹುದು.

RTX 3090 Ti ಹೊಸ ಗ್ರಾಹಕ ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

Ampere ಪೀಳಿಗೆಯ ಗ್ರಾಹಕ GPU ಆಗಿ, compute capability 8.6 ಹೊಂದಿರುವ ಇದು ಹೊಸ ಉನ್ನತ-ಮಟ್ಟದ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಂತೆಯೇ 24 GB VRAM ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ. ಆದರೆ ಹೊಸ ವಾಸ್ತುಶಿಲ್ಪಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಥ್ರೂಪುಟ್ ಮತ್ತು 450 W ವಿನ್ಯಾಸಕ್ಕಿಂತ ಉತ್ತಮ ವಿದ್ಯುತ್ ದಕ್ಷತೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆ ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಮೆಮೊರಿ-ಬೌಂಡ್ ಆಗಿದ್ದು 24 GB ಯೊಳಗೆ ಹೊಂದಿಕೊಂಡರೆ, ಇದು ಇನ್ನೂ ಸಮರ್ಥ ಆಯ್ಕೆಯಾಗಿದೆ.

ONIE ನಲ್ಲಿರುವ ನನ್ನ RTX 3090 Ti ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗೆ ನಾನು ಹೇಗೆ ಸಂಪರ್ಕಿಸುವುದು?

ನಿಮ್ಮ ಇನ್‌ಸ್ಟೆನ್ಸ್ ಚಾಲನೆಯಲ್ಲಿದ ನಂತರ, ಸಂಪೂರ್ಣ ಕಮಾಂಡ್-ಲೈನ್ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ನೀವು ನೇರವಾಗಿ SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಬಹುದು. CUDA ಜೊತೆಗಿನ PyTorch, vLLM, Ollama ಅಥವಾ ComfyUI ಗಾಗಿ ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್‌ಗಳನ್ನು ಸಹ ನೀವು ನಿಯೋಜಿಸಬಹುದು.

ಈ GPU ಬಾಡಿಗೆಗೆ ಪಡೆಯಲು ಬಿಲ್ಲಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ONIE ನಲ್ಲಿನ ಇನ್‌ಸ್ಟೆನ್ಸ್‌ಗಳು ಗಂಟೆವಾರು ಬಿಲ್ಲಿಂಗ್ ಬಳಸುತ್ತವೆ, ಇದರಿಂದ ನಿಮ್ಮ RTX 3090 Ti ಪರಿಸರ ಸಕ್ರಿಯವಾಗಿರುವ ಸಮಯಕ್ಕೆ ಮಾತ್ರ ನೀವು ಪಾವತಿಸಬಹುದು.

RTX 3090 Ti ಅನ್ನು ಗಂಟೆಯ ದರದಲ್ಲಿ ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಖಾತೆ ರಚಿಸಿ, ಸಂರಚನೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. GPU ಅಳಿಸಿದಾಗ ಬಿಲ್ಲಿಂಗ್ ನಿಲ್ಲುತ್ತದೆ.

RTX 3090 Ti ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ

ಎಲ್ಲಾ GPUಗಳು →