LLM 추론
vLLM, SGLang 또는 Ollama를 사용하여 주로 양자화를 통해 32 GB에 맞는 모델을 서빙합니다.
LLM 추론, 이미지 생성 및 CUDA 개발을 위한 Blackwell 아키텍처 기반 32 GB GDDR7 메모리 탑재 RTX 5090 서버입니다. 현재 구성과 가격을 확인한 후 콘솔에서 서버를 생성하십시오.
ONIE는 실시간 재고를 통해 32 GB GDDR7 VRAM이 탑재된 NVIDIA RTX 5090 GPU 서버를 임대합니다. PyTorch, vLLM 또는 ComfyUI와 같이 CUDA 12.8 이상용으로 빌드된 템플릿을 선택하고, 디스크 크기를 정한 뒤 시간당 또는 청구 주기별로 결제하고, SSH나 브라우저 터미널로 연결하십시오.
실시간 재고: 재고 및 요금은 시장 상황에 따라 변동됩니다. 주문 전 콘솔에서 최종 요금을 확인할 수 있습니다.
vLLM, SGLang 또는 Ollama를 사용하여 주로 양자화를 통해 32 GB에 맞는 모델을 서빙합니다.
Flux, SDXL 및 비디오 모델을 사용하는 ComfyUI 워크플로입니다.
Unsloth Studio를 사용한 소규모 모델의 LoRA 방식 파인튜닝입니다.
GPU 코드 빌드 및 테스트를 위한 CUDA 13.0 포함 Ubuntu 24.04입니다.
주문하기 전에 템플릿의 최소 VRAM을 확인하십시오. 32 GB보다 큰 모델은 양자화 또는 다중 GPU 구성이 필요합니다.
GPU당 32 GB GDDR7입니다. 다중 GPU 구성에서는 각 GPU마다 32 GB가 탑재되어 있습니다.
RTX 5090은 Blackwell 아키텍처를 사용하며 CUDA 12.8 이상이 필요합니다. RTX 5090 템플릿은 CUDA 12.8 또는 13.0을 사용하며, 호환되는 서버만 제공됩니다.
실행 중일 때는 시간당 요금제로, 또는 월간, 분기, 반기, 연간 주기로 청구됩니다. 디스크는 GB당 요금이 부과되며, 시간당 요금제 서버가 중지된 상태일 때는 디스크 요금만 청구됩니다.
네, 주로 양자화를 통해 32 GB VRAM에 맞는 모델을 실행하거나, 다중 GPU 구성을 사용할 수 있는 경우 여러 GPU에 걸쳐 더 큰 모델을 실행할 수 있습니다.
가용 여부는 실시간 재고에 따라 달라집니다. 나중에 다시 확인하시거나, GPU Cloud 페이지에서 충분한 VRAM을 갖춘 다른 GPU를 선택해 주세요.