LLM inference
Language model များကို ဝန်ဆောင်ပေးရန်နှင့် စမ်းသပ်ရန် vLLM၊ SGLang သို့မဟုတ် Open WebUI ပါဝင်သော Ollama။
GPU server များကို နာရီအလိုက် သို့မဟုတ် ငွေချေသက်တမ်းအလိုက် ငှားရမ်းပါ။ Live configuration နှင့် ဈေးနှုန်းများကို နှိုင်းယှဉ်ပြီး အသင့်သုံး template မှ စတင်ကာ SSH သို့မဟုတ် browser terminal မှတစ်ဆင့် ချိတ်ဆက်ပါ။
ONIE GPU Cloud တွင် live inventory မှ GPU server ကို ငှားရမ်းနိုင်ပါသည်။ GPU မော်ဒယ်၊ VRAM နှင့် disk ကို ရွေးချယ်ပြီး PyTorch၊ vLLM၊ Ollama သို့မဟုတ် ComfyUI ကဲ့သို့ template မှ စတင်ကာ SSH ဖြင့် ချိတ်ဆက်နိုင်ပါသည်။ Hourly server များကို သင့်အကောင့်လက်ကျန်ငွေမှ ကောက်ခံပြီး ရပ်ထားသော hourly server ကို disk အတွက်သာ ငွေတောင်းခံပါသည်။
တိုက်ရိုက် inventory — ရရှိနိုင်မှုနှင့် စျေးနှုန်းများသည် ဈေးကွက်အလိုက် ပြောင်းလဲနိုင်ပါသည်။ Console တွင် အမှာမတင်မီ နောက်ဆုံးစျေးနှုန်းကို အတည်ပြုပေးပါမည်။
Language model များကို ဝန်ဆောင်ပေးရန်နှင့် စမ်းသပ်ရန် vLLM၊ SGLang သို့မဟုတ် Open WebUI ပါဝင်သော Ollama။
သင့်ကိုယ်ပိုင်ဒေတာဖြင့် language model များကို fine-tune လုပ်ရန် Unsloth Studio။
Flux၊ SDXL နှင့် video workflow များအတွက် ComfyUI။
NVIDIA CUDA ပါဝင်သော PyTorch နှင့် Ubuntu 24.04 image များ၊ SSH ဖြင့် ဝင်ရောက်နိုင်ပါသည်။
Browser တွင် Ubuntu desktop၊ လိုအပ်သောအခါ full KVM virtual machine။
Template တစ်ခုစီတွင် အနည်းဆုံး CUDA version၊ VRAM နှင့် disk ကို ဖော်ပြထားပြီး ထို template အတွက် သင့်လျော်သော GPU များကိုသာ ပေးပါသည်။
GPU memory ထဲတွင် ဝင်နိုင်သော workload များ- LLM inference နှင့် fine-tuning၊ ပုံနှင့် video ထုတ်လုပ်ခြင်း၊ rendering နှင့် CUDA development။ PyTorch၊ vLLM၊ SGLang၊ Ollama၊ Unsloth နှင့် ComfyUI template များက software ကို သင့်အတွက် ထည့်သွင်းပေးပါသည်။
သင့် key ဖြင့် SSH မှတစ်ဆင့်၊ သို့မဟုတ် console မှ browser terminal ဖြင့် ချိတ်ဆက်နိုင်ပါသည်။ Desktop နှင့် VM template များကလည်း graphical ဝင်ရောက်ခွင့် ပေးပါသည်။
ဈေးနှုန်းများသည် live GPU inventory မှ ရရှိပြီး ပြောင်းလဲနိုင်ပါသည်။ Console တွင် မှာယူမီ အတည်ပြုထားသော ဈေးနှုန်းကို ပြသပြီး သင့် server ကို အတည်ပြုထားသော ဈေးနှုန်းဖြင့် ငွေတောင်းခံပါသည်။
နာရီလိုက်ငွေတောင်းခံမှုဖြင့် ရပ်ထားသော ဆာဗာသည် ၎င်း၏ disk အတွက်သာ ငွေတောင်းခံပါသည်။ ဒေတာမလိုတော့သောအခါ ဆာဗာကို ဖျက်ပါ။
အပေါ်ရှိဇယားတွင် လက်ရှိရရှိနိုင်သော configuration များကို ဖော်ပြထားပြီး၊ စတော့ရှိသောအခါ 32 GB VRAM ပါဝင်သော NVIDIA RTX 5090 ပါဝင်ပါသည်။ ရရှိနိုင်မှုသည် တစ်နေ့တာအတွင်း ပြောင်းလဲနိုင်ပါသည်။