Inferencia de LLM
Despliegue modelos que quepan en 32 GB, a menudo cuantizados, con vLLM, SGLang u Ollama.
Servidores RTX 5090 con 32 GB de memoria GDDR7 en la arquitectura Blackwell, para inferencia de LLM, generación de imágenes y desarrollo con CUDA. Consulte las configuraciones y los precios actuales y, a continuación, cree su servidor desde la consola.
ONIE alquila servidores GPU NVIDIA RTX 5090 con 32 GB de VRAM GDDR7 de un inventario en tiempo real. Elija una plantilla diseñada para CUDA 12.8 o superior, como PyTorch, vLLM o ComfyUI, seleccione un tamaño de disco y pague por horas o por ciclo de facturación; luego conéctese mediante SSH o la terminal del navegador.
Inventario en tiempo real: la disponibilidad y los precios cambian con el mercado. La consola confirma el precio final antes de realizar el pedido.
Despliegue modelos que quepan en 32 GB, a menudo cuantizados, con vLLM, SGLang u Ollama.
Flujos de trabajo de ComfyUI con modelos de Flux, SDXL y vídeo.
Ajuste fino tipo LoRA de modelos más pequeños con Unsloth Studio.
Ubuntu 24.04 con CUDA 13.0 para compilar y probar código de GPU.
Compruebe la VRAM mínima de una plantilla antes de realizar el pedido; los modelos de más de 32 GB necesitan cuantización o una configuración multi-GPU.
32 GB de GDDR7 por GPU. En una configuración multi-GPU, cada GPU tiene sus propios 32 GB.
La RTX 5090 utiliza la arquitectura Blackwell y necesita CUDA 12.8 o superior. Las plantillas para la RTX 5090 utilizan CUDA 12.8 o 13.0, y solo se ofrecen servidores compatibles.
Por hora mientras esté en ejecución, o por ciclos mensuales, trimestrales, semestrales o anuales. El disco se cobra por GB, y un servidor por horas que esté detenido solo se factura por su disco.
Sí, modelos que quepan en 32 GB de VRAM, a menudo mediante cuantización, o modelos más grandes distribuidos en varias GPU cuando haya disponible una configuración multi-GPU.
La disponibilidad depende del inventario en tiempo real. Vuelva a consultar más tarde o elija otra GPU con suficiente VRAM en la página de GPU Cloud.