LLM ইনফারেন্স
ভাষা মডেল সার্ভ ও পরীক্ষা করতে Open WebUI সহ vLLM, SGLang বা Ollama।
ঘণ্টা হিসাবে বা বিলিং চক্র অনুযায়ী NVIDIA GPU সার্ভার ভাড়া নিন। লাইভ কনফিগারেশন ও মূল্য তুলনা করুন, তৈরি টেমপ্লেট থেকে শুরু করুন এবং SSH বা ব্রাউজার টার্মিনালের মাধ্যমে সংযুক্ত হন।
ONIE GPU Cloud-এ আপনি লাইভ ইনভেন্টরি থেকে একটি GPU সার্ভার ভাড়া নেন: GPU মডেল, VRAM ও ডিস্ক বেছে নিন, PyTorch, vLLM, Ollama বা ComfyUI-এর মতো টেমপ্লেট থেকে শুরু করুন, তারপর SSH-এর মাধ্যমে সংযুক্ত হন। ঘণ্টাভিত্তিক সার্ভারের চার্জ আপনার অ্যাকাউন্ট ব্যালেন্স থেকে নেওয়া হয়, এবং বন্ধ থাকা ঘণ্টাভিত্তিক সার্ভারের শুধু ডিস্কের জন্য বিল করা হয়।
লাইভ ইনভেন্টরি: উপলব্ধতা ও মূল্য বাজারের সাথে পরিবর্তিত হয়। অর্ডার করার আগে কনসোলে চূড়ান্ত মূল্য নিশ্চিত করা হয়।
ভাষা মডেল সার্ভ ও পরীক্ষা করতে Open WebUI সহ vLLM, SGLang বা Ollama।
নিজের ডাটার উপর ভাষা মডেল ফাইন-টিউন করতে Unsloth Studio।
Flux, SDXL ও ভিডিও ওয়ার্কফ্লোর জন্য ComfyUI।
NVIDIA CUDA সহ PyTorch ও Ubuntu 24.04 ইমেজ, SSH-এর মাধ্যমে অ্যাক্সেসযোগ্য।
ব্রাউজারে একটি Ubuntu ডেস্কটপ, অথবা প্রয়োজন হলে একটি ফুল KVM ভার্চুয়াল মেশিন।
প্রতিটি টেমপ্লেটে সর্বনিম্ন CUDA ভার্সন, VRAM ও ডিস্কের প্রয়োজনীয়তা উল্লেখ করা থাকে; শুধু সামঞ্জস্যপূর্ণ GPU-গুলোই এর জন্য অফার করা হয়।
GPU মেমরিতে ধরে এমন ওয়ার্কলোড: LLM ইনফারেন্স ও ফাইন-টিউনিং, ইমেজ ও ভিডিও জেনারেশন, রেন্ডারিং ও CUDA ডেভেলপমেন্ট। PyTorch, vLLM, SGLang, Ollama, Unsloth ও ComfyUI-এর টেমপ্লেট সফটওয়্যার আপনার জন্য ইনস্টল করে দেয়।
আপনার কী দিয়ে SSH-এর মাধ্যমে, অথবা কনসোল থেকে আপনার ব্রাউজারের টার্মিনালের মাধ্যমে। ডেস্কটপ ও VM টেমপ্লেটে গ্রাফিক্যাল অ্যাক্সেসও থাকে।
মূল্য লাইভ GPU ইনভেন্টরি থেকে আসে এবং পরিবর্তন হতে পারে। অর্ডার করার আগে কনসোলে নিশ্চিত মূল্য দেখানো হয়, এবং আপনার সার্ভার সেই নিশ্চিত মূল্যেই বিল হবে।
ঘণ্টাভিত্তিক বিলিংয়ে বন্ধ করা সার্ভারের জন্য শুধু ডিস্কের খরচ নেওয়া হয়। যখন সার্ভারের ডেটার আর প্রয়োজন থাকবে না, তখন সার্ভারটি মুছে ফেলুন।
উপরের টেবিলে বর্তমানে উপলব্ধ কনফিগারেশনগুলো দেখানো হয়েছে, যার মধ্যে স্টকে থাকলে 32 GB VRAM-সহ NVIDIA RTX 5090-ও রয়েছে। প্রাপ্যতা সারাদিন পরিবর্তিত হয়।