Iznajmite NVIDIA CMP 170HX GPU po satu
NVIDIA CMP 170HX GPU je podatkovni GPU arhitekture Ampere s 64 GB VRAM-a i TDP-om od 250 W. Omogućuje memorijsku propusnost od oko 1516 GB/s i računalnu snagu od oko 12,1 TFLOPS-a u jednostrukoj preciznosti, uz računalnu mogućnost 8.0. Na ONIE možete pokrenuti ovu karticu uz naplatu po satu, puni SSH pristup i gotove predloške za PyTorch/CUDA, vLLM, Ollama i ComfyUI.
Specifikacije
VRAM po GPU-u
Arhitektura
Računalna sposobnost
FP32 računanje
Propusnost memorije
Ograničenje snage
Vrijednosti koje je navela infrastrukturna platforma za trenutno navedene strojeve; stvarne performanse razlikuju se ovisno o stroju.
Dostupne konfiguracije
Zalihe i cijene u stvarnom vremenu, neprekidno ažurirane. Konačnu cijenu potvrđujemo prije narudžbe.
Učitavanje cijena u stvarnom vremenu…
Za što je CMP 170HX pogodan
Inferencija LLM-a ograničena memorijom
Poslužujte velike jezične modele putem vLLM-a ili Ollama-e koristeći kapacitet od 64 GB VRAM-a i memorijsku propusnost od oko 1516 GB/s.
Duboko učenje s velikim memorijskim zahtjevima
Pokrećite PyTorch/CUDA zadatke koji zahtijevaju velik memorijski kapacitet i računalnu mogućnost 8.0, bez dijeljenja modela na više uređaja.
Složeni tijekovi rada za generiranje slika
Istodobno učitajte više velikih kontrolnih točaka za difuzijske modele i kontrolnih mreža u ComfyUI-ju, unutar memorijskog prostora od 64 GB.
Obrada podataka i simulacija
Izvršavajte podatkovne zadatke s velikim memorijskim zahtjevima koji imaju koristi od visoke memorijske propusnosti, uz ograničenje potrošnje od 250 W.
Je li to pravi GPU za vas?
Odaberite CMP 170HX kada je Vaše radno opterećenje ograničeno memorijskim kapacitetom i propusnošću, a ne sirovom računalnom snagom u jednostrukoj preciznosti. Odaberite GPU s većom računalnom propusnošću ako su Vam potrebne brže iteracije treniranja ili manju potrošačku karticu ako Vašim modelima nije potrebno 64 GB VRAM-a.
Usporedite sa sličnim GPU-ovima
| GPU | VRAM po GPU-u | Arhitektura | FP32 računanje | Od / sat | Pojedinosti |
|---|---|---|---|---|---|
| CMP 170HX | 64 GB | Ampere | ≈ 12.1 TFLOPS | — | |
| Q RTX 8000 | 45 GB | Turing | ≈ 11.9 TFLOPS | — | Pojedinosti |
| A800 PCIE | 80 GB | Ampere | ≈ 15.6 TFLOPS | — | Pojedinosti |
| A100 PCIE | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | Pojedinosti |
Često postavljana pitanja
Je li CMP 170HX prikladan za inferenciju LLM-a?
Da. Zahvaljujući 64 GB VRAM-a i memorijskoj propusnosti od oko 1516 GB/s, vrlo je prikladan za učitavanje i posluživanje velikih jezičnih modela pomoću predložaka kao što su vLLM i Ollama. Međutim, budući da pruža oko 12,1 TFLOPS-a računalne snage u jednostrukoj preciznosti, obrada prompta bit će sporija nego na podatkovnim GPU-ovima s većom računalnom gustoćom.
Kako se ovaj GPU uspoređuje sa standardnim podatkovnim akceleratorima?
CMP 170HX nudi velik memorijski međuspremnik od 64 GB i visoku memorijsku propusnost, slično standardnim podatkovnim karticama Ampere, uz TDP od 250 W. Glavni je kompromis manja računalna propusnost od oko 12,1 TFLOPS-a, zbog čega je prikladniji za zadatke ograničene memorijom nego za računalno zahtjevna radna opterećenja.
Koja su softverska okruženja dostupna za ovaj GPU?
Kartica podržava računalnu mogućnost CUDA 8.0, a na ONIE se može pokrenuti pomoću unaprijed konfiguriranih predložaka, uključujući PyTorch/CUDA, vLLM, Ollama i ComfyUI. Dostupan Vam je i izravan SSH pristup za instalaciju prilagođenih biblioteka i upravljanje okruženjem.
Kako funkcionira naplata najma CMP 170HX?
Instance na ONIE naplaćuju se po satu, tako da plaćate samo vrijeme tijekom kojeg je Vaš GPU aktivan.
Iznajmite CMP 170HX po satu
Stvorite račun, odaberite konfiguraciju i povežite se putem SSH-a. Naplata prestaje kada izbrišete GPU.
Iznajmi CMP 170HX