LLM इन्फ़रेंस
vLLM, SGLang या Ollama के साथ ऐसे मॉडल चलाएँ जो 32 GB में समाते हैं (अक्सर क्वांटाइज़्ड)।
LLM इन्फ़रेंस, इमेज जनरेशन और CUDA डेवलपमेंट के लिए, Blackwell आर्किटेक्चर पर 32 GB GDDR7 मेमोरी वाले RTX 5090 सर्वर। मौजूदा कॉन्फ़िगरेशन और कीमतें देखें, फिर कंसोल से अपना सर्वर बनाएँ।
ONIE लाइव इन्वेंट्री से 32 GB GDDR7 VRAM वाले NVIDIA RTX 5090 GPU सर्वर किराए पर देता है। CUDA 12.8 या उससे नए संस्करण के लिए बना कोई टेम्पलेट चुनें, जैसे PyTorch, vLLM या ComfyUI, डिस्क का आकार चुनें और प्रति घंटे या बिलिंग चक्र के हिसाब से भुगतान करें; फिर SSH या ब्राउज़र टर्मिनल के माध्यम से कनेक्ट करें।
लाइव इन्वेंट्री: बाज़ार के अनुसार उपलब्धता और कीमतें बदलती रहती हैं। ऑर्डर करने से पहले कंसोल अंतिम कीमत की पुष्टि करता है।
vLLM, SGLang या Ollama के साथ ऐसे मॉडल चलाएँ जो 32 GB में समाते हैं (अक्सर क्वांटाइज़्ड)।
Flux, SDXL और वीडियो मॉडल्स के साथ ComfyUI वर्कफ़्लो।
Unsloth Studio के साथ छोटे मॉडल्स की LoRA-स्टाइल फ़ाइन-ट्यूनिंग।
GPU कोड बनाने और परखने के लिए CUDA 13.0 के साथ Ubuntu 24.04।
ऑर्डर करने से पहले किसी टेम्पलेट का न्यूनतम VRAM जांचें; 32 GB से बड़े मॉडलों के लिए क्वांटाइज़ेशन या मल्टी-GPU कॉन्फ़िगरेशन की आवश्यकता होती है।
प्रति GPU 32 GB GDDR7। मल्टी-GPU कॉन्फ़िगरेशन में प्रत्येक GPU के पास अपना अलग 32 GB होता है।
RTX 5090 Blackwell आर्किटेक्चर पर आधारित है और इसके लिए CUDA 12.8 या उससे नए वर्ज़न की आवश्यकता होती है। RTX 5090 टेम्पलेट्स CUDA 12.8 या 13.0 का उपयोग करते हैं, और केवल संगत सर्वर ही उपलब्ध कराए जाते हैं।
सर्वर चलते रहने के दौरान प्रति घंटा, या मासिक, त्रैमासिक, अर्धवार्षिक या वार्षिक चक्र के अनुसार। डिस्क के लिए प्रति GB शुल्क लिया जाता है, और रुके हुए प्रति-घंटे वाले सर्वर पर केवल उसकी डिस्क का बिल लगता है।
हाँ, ऐसे मॉडल जो 32 GB VRAM में समाते हैं (अक्सर क्वांटाइज़ेशन के साथ), या जब मल्टी-GPU कॉन्फ़िगरेशन उपलब्ध हो तो कई GPUs पर बड़े मॉडल चलाए जा सकते हैं।
उपलब्धता लाइव इन्वेंट्री पर निर्भर करती है। कुछ समय बाद दोबारा देखें, या GPU Cloud पेज पर पर्याप्त VRAM वाला कोई दूसरा GPU चुनें।