LLM inference
භාෂා ආකෘති සේවා කිරීමට සහ පරීක්ෂා කිරීමට Open WebUI සමඟ vLLM, SGLang හෝ Ollama.
NVIDIA GPU සර්වර පැයකට හෝ බිල්ගත කිරීමේ චක්රයට අනුව කුලියට ගන්න. සජීව වින්යාස සහ මිල ගණන් සසඳා, සූදානම් ටෙම්ප්ලේටයකින් ආරම්භ කර, SSH හෝ බ්රවුසර් ටර්මිනලය හරහා සම්බන්ධ වන්න.
ONIE GPU Cloud සමඟ ඔබ සජීවී තොගයෙන් GPU සර්වරයක් කුලියට ගන්නේ: GPU මාදිලිය, VRAM සහ ඩිස්ක් තෝරා, PyTorch, vLLM, Ollama හෝ ComfyUI වැනි ටෙම්ප්ලේටයකින් ආරම්භ කර, පසුව SSH හරහා සම්බන්ධ වන්න. පැයින් සර්වර ඔබගේ ගිණුම් ශේෂයෙන් අය කෙරේ, සහ නවතා ඇති පැයින් සර්වරයකින් අය කරන්නේ එහි ඩිස්ක් සඳහා පමණි.
සජීවී තොග: ලබා ගැනීම සහ මිල වෙළඳපල සමඟ වෙනස් වේ. ඇණවුම් කිරීමට පෙර console එකෙන් අවසාන මිල තහවුරු වේ.
භාෂා ආකෘති සේවා කිරීමට සහ පරීක්ෂා කිරීමට Open WebUI සමඟ vLLM, SGLang හෝ Ollama.
ඔබේම දත්ත මත භාෂා ආකෘති fine-tune කිරීම සඳහා Unsloth Studio.
Flux, SDXL සහ වීඩියෝ වැඩ ප්රවාහ සඳහා ComfyUI.
NVIDIA CUDA සහිත PyTorch සහ Ubuntu 24.04 රූප, SSH හරහා ප්රවේශ විය හැක.
බ්රවුසරයේ Ubuntu desktop එකක්, හෝ අවශ්ය විට සම්පූර්ණ KVM virtual machine එකක්.
සෑම ටෙම්ප්ලේටයක්ම එහි අවම CUDA අනුවාදය, VRAM සහ ඩිස්ක් ලැයිස්තුගත කරයි; එයට ගැළපෙන GPU පමණක් ඉදිරිපත් කෙරේ.
GPU මතකයට ගැළපෙන වැඩ: LLM inference සහ fine-tuning, රූප සහ වීඩියෝ ජනනය, රෙන්ඩරින් සහ CUDA සංවර්ධනය. PyTorch, vLLM, SGLang, Ollama, Unsloth සහ ComfyUI සඳහා ටෙම්ප්ලේට් මෘදුකාංග ඔබ වෙනුවෙන් ස්ථාපනය කරයි.
ඔබේ key සමඟ SSH හරහා, හෝ කොන්සෝලයෙන් ඔබේ බ්රවුසරයේ ටර්මිනලය හරහා. Desktop සහ VM ටෙම්ප්ලේට් ප්රස්තාරික ප්රවේශයද සපයයි.
මිල සජීවී GPU තොගයෙන් ලැබෙන අතර වෙනස් විය හැක. ඇණවුම් කිරීමට පෙර කොන්සෝලය තහවුරු කළ මිල පෙන්වන අතර, ඔබගේ සර්වරය එම තහවුරු කළ මිලට අය කෙරේ.
පැය අනුව බිල්කිරීමේදී, නවතා ඇති සේවාදායකයකින් ගෙවන්නේ එහි disk එකට පමණි. ඔබට එහි දත්ත තවදුරටත් අවශ්ය නොවන විට සේවාදායකය මකන්න.
ඉහත වගුවේ දැනට ලබා ගත හැකි වින්යාස ලැයිස්තුගත කර ඇත. තොගයේ ඇති විට, 32 GB VRAM සහිත NVIDIA RTX 5090 ද එයට ඇතුළත් වේ. ලබා ගත හැකි බව දින පුරා වෙනස් වේ.