LLM इन्फरन्स
भाषा मॉडेल सर्व्ह करण्यासाठी आणि चाचणीसाठी vLLM, SGLang किंवा Open WebUI सह Ollama.
तासानुसार किंवा बिलिंग चक्रानुसार NVIDIA GPU सर्व्हर भाड्याने घ्या. थेट कॉन्फिगरेशन आणि किमतींची तुलना करा, तयार टेम्पलेटपासून सुरुवात करा आणि SSH किंवा ब्राउझर टर्मिनलद्वारे कनेक्ट व्हा.
ONIE GPU Cloud सह तुम्ही थेट उपलब्धतेतून GPU सर्व्हर भाड्याने घेता: GPU मॉडेल, VRAM आणि डिस्क निवडा, PyTorch, vLLM, Ollama किंवा ComfyUI सारख्या टेम्पलेटपासून सुरुवात करा, आणि नंतर SSH द्वारे कनेक्ट व्हा. तासानुसार सर्व्हरचे शुल्क तुमच्या खाते शिल्लकेतून आकारले जाते, आणि बंद केलेल्या तासानुसार सर्व्हरसाठी फक्त डिस्कचे शुल्क आकारले जाते.
थेट इन्व्हेंटरी: उपलब्धता आणि किमती बाजारानुसार बदलतात. ऑर्डर करण्यापूर्वी कन्सोल अंतिम किंमत निश्चित करते.
भाषा मॉडेल सर्व्ह करण्यासाठी आणि चाचणीसाठी vLLM, SGLang किंवा Open WebUI सह Ollama.
तुमच्या स्वतःच्या डेटावर भाषा मॉडेल फाइन-ट्यून करण्यासाठी Unsloth Studio.
Flux, SDXL आणि व्हिडिओ वर्कफ्लोसाठी ComfyUI.
NVIDIA CUDA सह PyTorch आणि Ubuntu 24.04 इमेज, SSH द्वारे उपलब्ध.
ब्राउझरमधील Ubuntu डेस्कटॉप, किंवा गरज असल्यास पूर्ण KVM व्हर्च्युअल मशीन.
प्रत्येक टेम्पलेट किमान CUDA आवृत्ती, VRAM आणि डिस्क नमूद करतो; त्यासाठी फक्त सुसंगत GPU दिले जातात.
GPU मेमरीमध्ये बसणारी कामे: LLM इन्फरन्स आणि फाइन-ट्यूनिंग, इमेज आणि व्हिडिओ निर्मिती, रेंडरिंग आणि CUDA विकास. PyTorch, vLLM, SGLang, Ollama, Unsloth आणि ComfyUI साठीचे टेम्पलेट सॉफ्टवेअर तुमच्यासाठी इन्स्टॉल करतात.
तुमच्या की सह SSH द्वारे, किंवा कन्सोलमधील ब्राउझर टर्मिनलद्वारे. डेस्कटॉप आणि VM टेम्पलेट ग्राफिकल प्रवेशही देतात.
किमती थेट GPU उपलब्धतेवरून येतात आणि बदलू शकतात. ऑर्डर देण्यापूर्वी कन्सोल पुष्टी केलेली किंमत दाखवतो, आणि तुमच्या सर्व्हरचे बिल त्या पुष्टी केलेल्या किमतीनुसारच आकारले जाते.
तासाच्या बिलिंगमध्ये, बंद केलेल्या सर्व्हरसाठी फक्त डिस्कचे शुल्क आकारले जाते. जेव्हा तुम्हाला त्याच्या डेटाची गरज उरत नाही, तेव्हा सर्व्हर डिलीट करा.
वरील तक्त्यात सध्या उपलब्ध असलेली कॉन्फिगरेशन्स दिली आहेत, ज्यात स्टॉकमध्ये असताना 32 GB VRAM असलेले NVIDIA RTX 5090 देखील आहे. उपलब्धता दिवसभर बदलत राहते.