Lei NVIDIA CMP 170HX GPU per time
NVIDIA CMP 170HX er en GPU for datasentre med Ampere-arkitektur, utstyrt med 64 GB VRAM og en TDP på 250 W. Den leverer omtrent 1516 GB/s minnebåndbredde sammen med omtrent 12.1 TFLOPS enkeltpresisjonsberegning ved beregningskapasitet 8.0. På ONIE kan du distribuere dette kortet med timebasert fakturering, full SSH-tilgang og ferdige maler for PyTorch/CUDA, vLLM, Ollama og ComfyUI.
Spesifikasjoner
VRAM per GPU
Arkitektur
Compute capability
FP32-beregning
Minnebåndbredde
Effektgrense
Verdier oppgitt av infrastrukturleverandøren for maskiner som er tilgjengelige nå. Faktisk ytelse varierer mellom maskiner.
Tilgjengelige konfigurasjoner
Lagerstatus og priser oppdateres fortløpende. Endelig pris bekreftes før du bestiller.
Laster inn live-priser…
Hva CMP 170HX er god til
Minnebegrenset LLM-inferens
Kjør store språkmodeller via vLLM eller Ollama ved å utnytte 64 GB VRAM-kapasitet og omtrent 1516 GB/s minnebåndbredde.
Dyplæring med høyt minnebehov
Kjør PyTorch/CUDA-arbeidsbelastninger som krever betydelig minnekapasitet og beregningskapasitet 8.0, uten å dele modellene på tvers av enheter.
Komplekse arbeidsflyter for bildegenerering
Last inn flere store diffusjonssjekkpunkter og kontrollnett samtidig i ComfyUI innenfor minneområdet på 64 GB.
Databehandling og simulering
Utfør minnekrevende datasenteroppgaver som drar nytte av høy minnegjennomstrømning innenfor en strømramme på 250 W.
Er dette den riktige GPU-en for deg?
Velg CMP 170HX når arbeidsbelastningen din begrenses av minnekapasitet og båndbredde fremfor rå enkeltpresisjonsberegning. Velg en GPU med høyere beregningsgjennomstrømning hvis du trenger raskere treningsiterasjoner, eller et mindre forbrukerkort hvis modellene dine ikke trenger 64 GB VRAM.
Sammenlign med lignende GPU-er
Ofte stilte spørsmål
Er CMP 170HX egnet for LLM-inferens?
Ja, 64 GB VRAM og omtrent 1516 GB/s minnebåndbredde gjør den godt egnet til å laste inn og kjøre store språkmodeller med maler som vLLM og Ollama. Siden den imidlertid leverer omtrent 12.1 TFLOPS enkeltpresisjonsberegning, vil promptbehandling være tregere enn på datasenter-GPU-er med høyere beregningstetthet.
Hvordan sammenlignes denne GPU-en med standard datasenterakseleratorer?
CMP 170HX tilbyr en stor minnebuffer på 64 GB og høy minnebåndbredde, tilsvarende standard Ampere-datasenterkort, samtidig som den opererer med en TDP på 250 W. Den viktigste avveiningen er lavere beregningsgjennomstrømning på omtrent 12.1 TFLOPS, noe som gjør den mer egnet for minnebegrensede oppgaver enn tunge beregningsarbeidsbelastninger.
Hvilke programvaremiljøer er tilgjengelige for denne GPU-en?
Kortet støtter CUDA-beregningskapasitet 8.0 og kan startes på ONIE med forhåndskonfigurerte maler, inkludert PyTorch/CUDA, vLLM, Ollama og ComfyUI. Du får også direkte SSH-tilgang for å installere egendefinerte biblioteker og administrere miljøet ditt.
Hvordan fungerer faktureringen når du leier CMP 170HX?
Instanser på ONIE bruker timebasert fakturering, så du betaler bare for tiden GPU-en din er aktiv.
Lei CMP 170HX per time
Opprett en konto, velg en konfigurasjon og koble til over SSH. Fakturering stopper når du sletter GPU-en.
Lei CMP 170HX