LLM-päättely
vLLM, SGLang tai Ollama Open WebUI:n kanssa kielimallien käyttöönottoon ja testaukseen.
Vuokraa NVIDIA GPU -palvelimia tunneittain tai laskutusjakson mukaan. Vertaa reaaliaikaisia kokoonpanoja ja hintoja, aloita valmiista mallipohjasta ja yhdistä SSH:n tai selaimen päätteen kautta.
ONIE GPU Cloudissa vuokraat GPU-palvelimen reaaliaikaisesta saatavuudesta: valitset GPU-mallin, VRAM-muistin ja levyn, aloitat mallipohjasta, kuten PyTorch, vLLM, Ollama tai ComfyUI, ja yhdistät sitten SSH:n kautta. Tuntilaskutteiset palvelimet veloitetaan tilisi saldosta, ja pysäytetystä tuntilaskutteisesta palvelimesta veloitetaan vain levytilaa.
Reaaliaikainen varasto: saatavuus ja hinnat muuttuvat markkinatilanteen mukaan. Konsoli vahvistaa lopullisen hinnan ennen tilausta.
vLLM, SGLang tai Ollama Open WebUI:n kanssa kielimallien käyttöönottoon ja testaukseen.
Unsloth Studio kielimallien hienosäätöön omalla datallasi.
ComfyUI Fluxille, SDXL:lle ja videotyönkulkuihin.
PyTorch- ja Ubuntu 24.04 -kuvat NVIDIA CUDA:n kanssa, käytettävissä SSH:n kautta.
Ubuntu-työpöytä selaimessa tai täysi KVM-virtuaalikone tarvittaessa.
Jokainen mallipohja ilmoittaa vähimmäis-CUDA-version, VRAM-muistin ja levyn. Mallipohjalle tarjotaan vain yhteensopivia GPU:ita.
Työkuormat, jotka mahtuvat GPU-muistiin: LLM-päättely ja hienosäätö, kuva- ja videogenerointi, renderöinti ja CUDA-kehitys. PyTorch-, vLLM-, SGLang-, Ollama-, Unsloth- ja ComfyUI-mallipohjat asentavat ohjelmiston puolestasi.
SSH:n kautta avaimellasi tai konsolin selaimen päätteen kautta. Työpöytä- ja VM-mallipohjat tarjoavat myös graafisen käyttöliittymän.
Hinnat tulevat reaaliaikaisesta GPU-saatavuudesta ja voivat muuttua. Konsoli näyttää vahvistetun hinnan ennen tilausta, ja palvelimesi veloitetaan tuon vahvistetun hinnan mukaan.
Tunnittain laskutettavaa pysäytettyä palvelinta laskutetaan vain levystä. Poista palvelin, kun et enää tarvitse sen tietoja.
Yllä olevassa taulukossa on tällä hetkellä saatavilla olevat kokoonpanot, mukaan lukien NVIDIA RTX 5090 32 GB:n VRAM-muistilla, kun sitä on varastossa. Saatavuus vaihtelee päivän aikana.