LLM इन्फरेन्स
भाषा मोडेलहरू सर्भ र परीक्षण गर्न Open WebUI सहित vLLM, SGLang वा Ollama।
प्रति घण्टा वा बिलिङ चक्रका आधारमा NVIDIA GPU सर्भर भाडामा लिनुहोस्। प्रत्यक्ष कन्फिगरेसन र मूल्यहरू तुलना गर्नुहोस्, तयार टेम्प्लेटबाट सुरु गर्नुहोस् र SSH वा ब्राउजर टर्मिनलमार्फत जडान गर्नुहोस्।
ONIE GPU Cloud मा तपाईं प्रत्यक्ष इन्भेन्टरीबाट GPU सर्भर भाडामा लिनुहुन्छ: GPU मोडेल, VRAM र डिस्क छान्नुहोस्, PyTorch, vLLM, Ollama वा ComfyUI जस्ता टेम्प्लेटबाट सुरु गर्नुहोस्, त्यसपछि SSH मार्फत जडान गर्नुहोस्। प्रति घण्टा सर्भरको शुल्क तपाईंको खाता ब्यालेन्सबाट लिइन्छ, र रोकिएको प्रति घण्टा सर्भरमा केवल डिस्कको शुल्क लाग्छ।
प्रत्यक्ष स्टक: उपलब्धता र मूल्यहरू बजारअनुसार परिवर्तन हुन्छन्। अर्डर गर्नु अघि कन्सोलले अन्तिम मूल्य पुष्टि गर्छ।
भाषा मोडेलहरू सर्भ र परीक्षण गर्न Open WebUI सहित vLLM, SGLang वा Ollama।
आफ्नै डेटामा भाषा मोडेलहरू फाइन-ट्युन गर्न Unsloth Studio।
Flux, SDXL र भिडियो वर्कफ्लोका लागि ComfyUI।
NVIDIA CUDA सहित PyTorch र Ubuntu 24.04 इमेजहरू, SSH मार्फत पहुँचयोग्य।
ब्राउजरमा Ubuntu डेस्कटप, वा आवश्यक परेमा पूर्ण KVM भर्चुअल मेसिन।
प्रत्येक टेम्प्लेटमा न्यूनतम CUDA संस्करण, VRAM र डिस्क सूचीबद्ध हुन्छ; त्यसका लागि मिल्ने GPU मात्र प्रस्ताव गरिन्छ।
GPU मेमोरीमा अटाउने कार्यभारहरू: LLM इन्फरेन्स र फाइन-ट्युनिङ, इमेज र भिडियो जेनेरेसन, रेन्डरिङ र CUDA विकास। PyTorch, vLLM, SGLang, Ollama, Unsloth र ComfyUI का टेम्प्लेटहरूले सफ्टवेयर तपाईंको लागि स्थापना गर्छन्।
तपाईंको कुञ्जी प्रयोग गरी SSH मार्फत, वा कन्सोलबाट आफ्नो ब्राउजरको टर्मिनल मार्फत। Desktop र VM टेम्प्लेटहरूले ग्राफिकल पहुँच पनि प्रदान गर्छन्।
मूल्यहरू प्रत्यक्ष GPU इन्भेन्टरीबाट आउँछन् र परिवर्तन हुन सक्छन्। कन्सोलले अर्डर गर्नु अघि पुष्टि गरिएको मूल्य देखाउँछ, र तपाईंको सर्भरको बिल त्यही पुष्टि गरिएको मूल्यमा लाग्छ।
घण्टाका आधारमा बिलिङ हुँदा, रोकिएको सर्भरमा केवल डिस्कको मात्र शुल्क लाग्छ। सर्भरको डेटा आवश्यक नपर्दा सर्भर मेटाउनुहोस्।
माथिको तालिकामा हाल उपलब्ध कन्फिगरेसनहरू सूचीबद्ध छन्, जसमा स्टकमा हुँदा 32 GB VRAM भएको NVIDIA RTX 5090 पनि समावेश छ। उपलब्धता दिनभर परिवर्तन हुन सक्छ।