LLM ಇನ್ಫರೆನ್ಸ್
ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಮತ್ತು ಪರೀಕ್ಷಿಸಲು Open WebUI ಜೊತೆಗೆ vLLM, SGLang ಅಥವಾ Ollama.
ಗಂಟೆವಾರು ಅಥವಾ ಬಿಲ್ಲಿಂಗ್ ಚಕ್ರದ ಆಧಾರದ ಮೇಲೆ NVIDIA GPU ಸರ್ವರ್ಗಳನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ. ಲೈವ್ ಸಂರಚನೆಗಳು ಮತ್ತು ಬೆಲೆಗಳನ್ನು ಹೋಲಿಸಿ, ಸಿದ್ಧ ಟೆಂಪ್ಲೇಟ್ನಿಂದ ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು SSH ಅಥವಾ ಬ್ರೌಸರ್ ಟರ್ಮಿನಲ್ ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ.
ONIE GPU Cloud ನೊಂದಿಗೆ ನೀವು ಲೈವ್ ಇನ್ವೆಂಟರಿಯಿಂದ GPU ಸರ್ವರ್ ಬಾಡಿಗೆಗೆ ಪಡೆಯುತ್ತೀರಿ: GPU ಮಾದರಿ, VRAM ಮತ್ತು ಡಿಸ್ಕ್ ಆಯ್ಕೆಮಾಡಿ, PyTorch, vLLM, Ollama ಅಥವಾ ComfyUI ನಂತಹ ಟೆಂಪ್ಲೇಟ್ನಿಂದ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ. ಗಂಟೆವಾರು ಸರ್ವರ್ಗಳಿಗೆ ನಿಮ್ಮ ಖಾತೆ ಬ್ಯಾಲೆನ್ಸ್ನಿಂದ ಶುಲ್ಕ ವಿಧಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಿಲ್ಲಿಸಲಾದ ಗಂಟೆವಾರು ಸರ್ವರ್ಗೆ ಕೇವಲ ಅದರ ಡಿಸ್ಕ್ಗೆ ಮಾತ್ರ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ.
ನೇರ ದಾಸ್ತಾನು: ಲಭ್ಯತೆ ಮತ್ತು ಬೆಲೆಗಳು ಮಾರುಕಟ್ಟೆಯೊಂದಿಗೆ ಬದಲಾಗುತ್ತವೆ. ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಕನ್ಸೋಲ್ ಅಂತಿಮ ಬೆಲೆಯನ್ನು ದೃಢೀಕರಿಸುತ್ತದೆ.
ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸರ್ವ್ ಮಾಡಲು ಮತ್ತು ಪರೀಕ್ಷಿಸಲು Open WebUI ಜೊತೆಗೆ vLLM, SGLang ಅಥವಾ Ollama.
ನಿಮ್ಮ ಸ್ವಂತ ಡೇಟಾದ ಮೇಲೆ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು Unsloth Studio.
Flux, SDXL ಮತ್ತು ವೀಡಿಯೊ ವರ್ಕ್ಫ್ಲೋಗಳಿಗಾಗಿ ComfyUI.
NVIDIA CUDA ಜೊತೆಗೆ PyTorch ಮತ್ತು Ubuntu 24.04 ಇಮೇಜ್ಗಳು, SSH ಮೂಲಕ ಪ್ರವೇಶಿಸಬಹುದು.
ಬ್ರೌಸರ್ನಲ್ಲಿ Ubuntu ಡೆಸ್ಕ್ಟಾಪ್, ಅಥವಾ ನಿಮಗೆ ಅಗತ್ಯವಿದ್ದಾಗ ಪೂರ್ಣ KVM ವರ್ಚುವಲ್ ಯಂತ್ರ.
ಪ್ರತಿ ಟೆಂಪ್ಲೇಟ್ ತನ್ನ ಕನಿಷ್ಠ CUDA ಆವೃತ್ತಿ, VRAM ಮತ್ತು ಡಿಸ್ಕ್ ಅನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ; ಅದಕ್ಕೆ ಹೊಂದಾಣಿಕೆಯಾಗುವ GPU ಗಳನ್ನು ಮಾತ್ರ ನೀಡಲಾಗುತ್ತದೆ.
GPU ಮೆಮೊರಿಗೆ ಹೊಂದುವ ಕೆಲಸದ ಹೊರೆಗಳು: LLM ಇನ್ಫರೆನ್ಸ್ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್, ಚಿತ್ರ ಮತ್ತು ವೀಡಿಯೊ ಉತ್ಪಾದನೆ, ರೆಂಡರಿಂಗ್ ಮತ್ತು CUDA ಅಭಿವೃದ್ಧಿ. PyTorch, vLLM, SGLang, Ollama, Unsloth ಮತ್ತು ComfyUI ಟೆಂಪ್ಲೇಟ್ಗಳು ಸಾಫ್ಟ್ವೇರ್ ಅನ್ನು ನಿಮಗಾಗಿ ಸ್ಥಾಪಿಸುತ್ತವೆ.
ನಿಮ್ಮ ಕೀಯೊಂದಿಗೆ SSH ಮೂಲಕ, ಅಥವಾ ಕನ್ಸೋಲ್ನಿಂದ ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲಿರುವ ಟರ್ಮಿನಲ್ ಮೂಲಕ. ಡೆಸ್ಕ್ಟಾಪ್ ಮತ್ತು VM ಟೆಂಪ್ಲೇಟ್ಗಳು ಗ್ರಾಫಿಕಲ್ ಪ್ರವೇಶವನ್ನೂ ಒದಗಿಸುತ್ತವೆ.
ಬೆಲೆಗಳು ಲೈವ್ GPU ಇನ್ವೆಂಟರಿಯಿಂದ ಬರುತ್ತವೆ ಮತ್ತು ಬದಲಾಗಬಹುದು. ನೀವು ಆರ್ಡರ್ ಮಾಡುವ ಮೊದಲು ಕನ್ಸೋಲ್ ದೃಢೀಕೃತ ಬೆಲೆಯನ್ನು ತೋರಿಸುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಸರ್ವರ್ಗೆ ಆ ದೃಢೀಕೃತ ಬೆಲೆಯಲ್ಲಿಯೇ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ.
ಗಂಟೆಯ ಬಿಲ್ಲಿಂಗ್ನಲ್ಲಿ, ನಿಲ್ಲಿಸಿದ ಸರ್ವರ್ಗೆ ಅದರ ಡಿಸ್ಕ್ಗೆ ಮಾತ್ರ ಶುಲ್ಕ ವಿಧಿಸಲಾಗುತ್ತದೆ. ಸರ್ವರ್ನ ಡೇಟಾ ಅಗತ್ಯವಿಲ್ಲದಾಗ ಅದನ್ನು ಅಳಿಸಿ.
ಮೇಲಿನ ಕೋಷ್ಟಕದಲ್ಲಿ ಪ್ರಸ್ತುತ ಲಭ್ಯವಿರುವ ಕಾನ್ಫಿಗರೇಶನ್ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಲಾಗಿದೆ, ಸ್ಟಾಕ್ನಲ್ಲಿದ್ದಾಗ 32 GB VRAM ಇರುವ NVIDIA RTX 5090 ಸೇರಿದಂತೆ. ಲಭ್ಯತೆ ದಿನದುದ್ದಕ್ಕೂ ಬದಲಾಗುತ್ತದೆ.