Lloga GPU NVIDIA CMP 170HX per hora
La NVIDIA CMP 170HX és una GPU de centre de dades amb arquitectura Ampere, equipada amb 64 GB de VRAM i un TDP de 250 W. Ofereix uns 1516 GB/s d’amplada de banda de memòria i uns 12.1 TFLOPS de càlcul de precisió simple, amb una capacitat de càlcul de 8.0. A ONIE, es pot desplegar aquesta targeta amb facturació per hora, accés SSH complet i plantilles preparades per a PyTorch/CUDA, vLLM, Ollama i ComfyUI.
Especificacions
VRAM per GPU
Arquitectura
Capacitat de còmput
Còmput FP32
Ample de banda de memòria
Límit de potència
Valors informats pel proveïdor d'infraestructura per a les màquines que hi ha disponibles actualment; el rendiment real varia segons la màquina.
Configuracions disponibles
Estoc i preus en directe, actualitzats contínuament. El preu final es confirma abans de fer la comanda.
Carregant preus en directe…
Per a què serveix la CMP 170HX
Inferència de LLM limitada per la memòria
Serviu models de llenguatge grans amb vLLM o Ollama aprofitant els 64 GB de VRAM i uns 1516 GB/s d’amplada de banda de memòria.
Aprenentatge profund amb molta memòria
Executeu càrregues de treball de PyTorch/CUDA que requereixin una gran capacitat de memòria i una capacitat de càlcul de 8.0, sense haver de dividir els models entre dispositius.
Fluxos de treball complexos de generació d’imatges
Carregueu simultàniament diversos punts de control de difusió grans i xarxes de control a ComfyUI dins del conjunt de 64 GB de memòria.
Processament de dades i simulació
Executeu tasques de centre de dades que requereixin molta memòria i es beneficiïn d’un elevat cabal de memòria dins d’un límit de potència de 250 W.
És la GPU adequada per a vostè?
Trieu la CMP 170HX si la vostra càrrega de treball està limitada per la capacitat i l’amplada de banda de la memòria, més que no pas pel càlcul de precisió simple. Opteu per una GPU amb més capacitat de càlcul si necessiteu iteracions d’entrenament més ràpides, o trieu una targeta de consum més petita si els vostres models no necessiten 64 GB de VRAM.
Compari amb GPU similars
Preguntes freqüents
La CMP 170HX és adequada per a la inferència de LLM?
Sí. Els 64 GB de VRAM i uns 1516 GB/s d’amplada de banda de memòria la fan molt adequada per carregar i servir models de llenguatge grans amb plantilles com vLLM i Ollama. Tanmateix, com que ofereix uns 12.1 TFLOPS de càlcul de precisió simple, el processament de prompts serà més lent que en les GPU de centre de dades amb més densitat de càlcul.
Com es compara aquesta GPU amb els acceleradors estàndard per a centres de dades?
La CMP 170HX ofereix una gran memòria intermèdia de 64 GB i una amplada de banda de memòria elevada, similars a les de les targetes Ampere estàndard per a centres de dades, amb un TDP de 250 W. La principal contrapartida és una capacitat de càlcul inferior, d’uns 12.1 TFLOPS, que la fa més adequada per a tasques limitades per la memòria que per a càrregues de treball de càlcul intensiu.
Quins entorns de programari hi ha disponibles per a aquesta GPU?
La targeta és compatible amb CUDA amb una capacitat de càlcul de 8.0 i es pot iniciar a ONIE amb plantilles preconfigurades, com ara PyTorch/CUDA, vLLM, Ollama i ComfyUI. També es disposa d’accés SSH directe per instal·lar biblioteques personalitzades i gestionar l’entorn.
Com funciona la facturació en llogar la CMP 170HX?
Les instàncies de ONIE es facturen per hora, de manera que només es paga pel temps que la GPU està activa.
Llogui la CMP 170HX per hores
Crei un compte, triï una configuració i connecti's per SSH. La facturació s'atura quan elimini la GPU.
Llogar CMP 170HX