Lej en NVIDIA CMP 170HX GPU pr. time
NVIDIA CMP 170HX er en datacenter-GPU med Ampere-arkitektur, 64 GB VRAM og en TDP på 250 W. Den leverer omkring 1516 GB/s hukommelsesbåndbredde og omkring 12.1 TFLOPS beregningsydelse med enkeltpræcision ved compute capability 8.0. Hos ONIE kan du tage kortet i brug med timeafregning, fuld SSH-adgang og færdige skabeloner til PyTorch/CUDA, vLLM, Ollama og ComfyUI.
Specifikationer
VRAM pr. GPU
Arkitektur
Compute capability
FP32-beregning
Hukommelsesbåndbredde
Effektgrænse
Værdier oplyst af infrastrukturudbyderen for de maskiner, der aktuelt er listet; den reelle ydeevne varierer fra maskine til maskine.
Tilgængelige konfigurationer
Lagerstatus og priser opdateres løbende. Den endelige pris bekræftes, før du bestiller.
Indlæser aktuelle priser…
Hvad CMP 170HX er god til
Hukommelseskrævende LLM-inferens
Kør store sprogmodeller via vLLM eller Ollama ved at udnytte 64 GB VRAM og omkring 1516 GB/s hukommelsesbåndbredde.
Deep learning med stort hukommelsesbehov
Kør PyTorch/CUDA-workloads, der kræver meget hukommelse og compute capability 8.0, uden at fordele modellerne på flere enheder.
Komplekse workflows til billedgenerering
Indlæs flere store diffusions-checkpoints og kontrolnetværk samtidig i ComfyUI inden for hukommelsespuljen på 64 GB.
Databehandling og simulering
Kør hukommelseskrævende datacenteropgaver, der har gavn af høj hukommelsesbåndbredde, inden for en effektgrænse på 250 W.
Er det den rigtige GPU til dig?
Vælg CMP 170HX, når din workload primært begrænses af hukommelseskapacitet og -båndbredde frem for rå beregningsydelse med enkeltpræcision. Vælg en GPU med højere beregningsydelse, hvis du har brug for hurtigere træningsiterationer, eller et mindre forbrugerkort, hvis dine modeller ikke kræver 64 GB VRAM.
Sammenlign med lignende GPU'er
Ofte stillede spørgsmål
Er CMP 170HX egnet til LLM-inferens?
Ja, dens 64 GB VRAM og omkring 1516 GB/s hukommelsesbåndbredde gør den velegnet til at indlæse og køre store sprogmodeller med skabeloner som vLLM og Ollama. Da den leverer omkring 12.1 TFLOPS beregningsydelse med enkeltpræcision, vil behandlingen af prompts dog være langsommere end på datacenter-GPU'er med højere beregningskapacitet.
Hvordan klarer denne GPU sig sammenlignet med almindelige datacenteracceleratorer?
CMP 170HX har en stor hukommelse på 64 GB og høj hukommelsesbåndbredde i lighed med almindelige Ampere-datacenterkort, samtidig med at den har en TDP på 250 W. Den vigtigste afvejning er en lavere beregningsydelse på omkring 12.1 TFLOPS, så den egner sig bedre til hukommelseskrævende opgaver end til beregningstunge workloads.
Hvilke softwaremiljøer er tilgængelige til denne GPU?
Kortet understøtter CUDA compute capability 8.0 og kan startes hos ONIE med forudkonfigurerede skabeloner til blandt andet PyTorch/CUDA, vLLM, Ollama og ComfyUI. Du får også direkte SSH-adgang til at installere egne biblioteker og administrere dit miljø.
Hvordan fungerer afregningen, når jeg lejer CMP 170HX?
Instanser hos ONIE afregnes pr. time, så du betaler kun for den tid, din GPU er aktiv.
Lej CMP 170HX per time
Opret en konto, vælg en konfiguration og forbind via SSH. Faktureringen stopper, når du sletter GPU'en.
Lej CMP 170HX