LLM 推理
使用 vLLM、SGLang 或 Ollama 部署可装入 32 GB 显存的模型(通常经量化处理)。
基于 Blackwell 架构、配备 32 GB GDDR7 显存的 RTX 5090 云服务器,适用于 LLM 推理、图像生成和 CUDA 开发。查看当前配置与价格,即可在控制台创建云服务器。
ONIE 提供基于实时库存的 NVIDIA RTX 5090 GPU 云服务器租用,配备 32 GB GDDR7 VRAM。选择适用于 CUDA 12.8 或更高版本的模板(如 PyTorch、vLLM 或 ComfyUI),选择磁盘容量并按小时或按计费周期付款,随后即可通过 SSH 或浏览器终端连接。
实时库存:可用性与价格随市场波动。下单前控制台会确认最终价格。
使用 vLLM、SGLang 或 Ollama 部署可装入 32 GB 显存的模型(通常经量化处理)。
运行基于 Flux、SDXL 和视频模型的 ComfyUI 工作流。
使用 Unsloth Studio 对较小模型进行 LoRA 微调。
配备 CUDA 13.0 的 Ubuntu 24.04,用于构建和测试 GPU 代码。
下单前请确认模板的最低 VRAM 要求;超过 32 GB 的模型需要量化或使用多 GPU 配置。
每张 GPU 配备 32 GB GDDR7。在多 GPU 配置中,每张 GPU 各自拥有独立的 32 GB 显存。
RTX 5090 采用 Blackwell 架构,需要 CUDA 12.8 或更高版本。RTX 5090 模板使用 CUDA 12.8 或 13.0,且仅提供兼容的云服务器。
运行中按小时计费,也可按月、季度、半年或年付周期计费。磁盘按 GB 收费,已停止的按小时计费云服务器仅收取磁盘费用。
可以,能够运行可放入 32 GB VRAM 的模型(通常经过量化),或者在有多 GPU 配置可用时跨多个 GPU 运行更大的模型。
可用状态取决于实时库存。请稍后再查看,或在 GPU Cloud 页面选择其他 VRAM 充足的 GPU。