LLM ഇൻഫറൻസ്
ഭാഷാ മോഡലുകൾ സർവ് ചെയ്യാനും പരീക്ഷിക്കാനും Open WebUI-യോടൊപ്പം vLLM, SGLang അല്ലെങ്കിൽ Ollama.
NVIDIA GPU സെർവറുകൾ മണിക്കൂർ അടിസ്ഥാനത്തിലോ ബില്ലിംഗ് സൈക്കിൾ അടിസ്ഥാനത്തിലോ വാടകയ്ക്ക് എടുക്കുക. തത്സമയ കോൺഫിഗറേഷനുകളും വിലകളും താരതമ്യം ചെയ്യുക, തയ്യാറായ ടെംപ്ലേറ്റിൽ നിന്ന് ആരംഭിച്ച് SSH അല്ലെങ്കിൽ ബ്രൗസർ ടെർമിനൽ വഴി കണക്ട് ചെയ്യുക.
ONIE GPU Cloud-ൽ നിങ്ങൾ തത്സമയ ഇൻവെന്ററിയിൽ നിന്ന് ഒരു GPU സെർവർ വാടകയ്ക്ക് എടുക്കുന്നു: GPU മോഡൽ, VRAM, ഡിസ്ക് എന്നിവ തിരഞ്ഞെടുക്കുക, PyTorch, vLLM, Ollama അല്ലെങ്കിൽ ComfyUI പോലുള്ള ടെംപ്ലേറ്റിൽ നിന്ന് ആരംഭിക്കുക, തുടർന്ന് SSH വഴി കണക്ട് ചെയ്യുക. മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള സെർവറുകളുടെ നിരക്ക് നിങ്ങളുടെ അക്കൗണ്ട് ബാലൻസിൽ നിന്ന് ഈടാക്കും, നിർത്തിയ മണിക്കൂർ സെർവറിന് ഡിസ്കിന് മാത്രമാണ് ബില്ല് ചെയ്യുന്നത്.
തത്സമയ ഇൻവെന്ററി: ലഭ്യതയും വിലകളും വിപണിക്കനുസരിച്ച് മാറുന്നു. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് കൺസോൾ അന്തിമ വില സ്ഥിരീകരിക്കും.
ഭാഷാ മോഡലുകൾ സർവ് ചെയ്യാനും പരീക്ഷിക്കാനും Open WebUI-യോടൊപ്പം vLLM, SGLang അല്ലെങ്കിൽ Ollama.
നിങ്ങളുടെ സ്വന്തം ഡാറ്റയിൽ ഭാഷാ മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നതിനുള്ള Unsloth Studio.
Flux, SDXL, വീഡിയോ വർക്ക്ഫ്ലോകൾക്കുള്ള ComfyUI.
NVIDIA CUDA ഉള്ള PyTorch, Ubuntu 24.04 ഇമേജുകൾ, SSH വഴി ആക്സസ് ചെയ്യാവുന്നത്.
ബ്രൗസറിൽ ഒരു Ubuntu ഡെസ്ക്ടോപ്പ്, അല്ലെങ്കിൽ ആവശ്യമെങ്കിൽ പൂർണ്ണ KVM വെർച്വൽ മെഷീൻ.
ഓരോ ടെംപ്ലേറ്റും അതിന്റെ കുറഞ്ഞ CUDA പതിപ്പ്, VRAM, ഡിസ്ക് എന്നിവ പട്ടികപ്പെടുത്തുന്നു; അതിനായി അനുയോജ്യമായ GPU-കൾ മാത്രമേ വാഗ്ദാനം ചെയ്യുന്നുള്ളൂ.
GPU മെമ്മറിയിൽ ഒതുങ്ങുന്ന ജോലിഭാരങ്ങൾ: LLM ഇൻഫറൻസും ഫൈൻ-ട്യൂണിംഗും, ഇമേജ്, വീഡിയോ ജനറേഷൻ, റെൻഡറിംഗ്, CUDA ഡെവലപ്മെന്റ്. PyTorch, vLLM, SGLang, Ollama, Unsloth, ComfyUI എന്നിവയ്ക്കുള്ള ടെംപ്ലേറ്റുകൾ സോഫ്റ്റ്വെയർ നിങ്ങൾക്കായി ഇൻസ്റ്റാൾ ചെയ്യുന്നു.
നിങ്ങളുടെ കീ ഉപയോഗിച്ച് SSH വഴി, അല്ലെങ്കിൽ കൺസോളിൽ നിന്നുള്ള ബ്രൗസർ ടെർമിനൽ വഴി. ഡെസ്ക്ടോപ്പ്, VM ടെംപ്ലേറ്റുകൾ ഗ്രാഫിക്കൽ ആക്സസും നൽകുന്നു.
വിലകൾ തത്സമയ GPU ഇൻവെന്ററിയിൽ നിന്നുള്ളതാണ്, അവ മാറാനും സാധ്യതയുണ്ട്. ഓർഡർ ചെയ്യുന്നതിന് മുമ്പ് കൺസോൾ സ്ഥിരീകരിച്ച വില കാണിക്കും, നിങ്ങളുടെ സെർവറിന് ആ സ്ഥിരീകരിച്ച വിലയിലാണ് ബില്ല് ചെയ്യുക.
മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ബില്ലിംഗിൽ, നിർത്തിവെച്ച സെർവറിന് ഡിസ്കിന് മാത്രമേ ചാർജ് ഈടാക്കൂ. ഡാറ്റ ആവശ്യമില്ലാതായാൽ സെർവർ ഡിലീറ്റ് ചെയ്യുക.
മുകളിലുള്ള പട്ടികയിൽ ഇപ്പോൾ ലഭ്യമായ കോൺഫിഗറേഷനുകൾ കാണിച്ചിരിക്കുന്നു; സ്റ്റോക്കിലുള്ളപ്പോൾ 32 GB VRAM ഉള്ള NVIDIA RTX 5090 ഉൾപ്പെടെ. ലഭ്യത ദിവസം മുഴുവൻ മാറിക്കൊണ്ടിരിക്കും.