Vuokraa NVIDIA CMP 170HX -GPU tunneittain
NVIDIA CMP 170HX on Ampere-arkkitehtuurin datakeskus-GPU, jossa on 64 GB VRAM-muistia ja 250 W TDP. Se tarjoaa noin 1516 GB/s muistikaistanleveyden sekä noin 12.1 TFLOPS yksittäistarkkuuden laskentatehoa laskentakyvykkyydellä 8.0. Palvelussa ONIE voit ottaa tämän kortin käyttöön tuntiperusteisella laskutuksella, täydellä SSH-käytöllä ja valmiilla malleilla PyTorch/CUDA:lle, vLLM:lle, Ollama:lle ja ComfyUI:lle.
Tekniset tiedot
VRAM per GPU
Arkkitehtuuri
Laskentakyky
FP32-laskenta
Muistin kaistanleveys
Tehoraja
Infrastruktuuripalveluntarjoajan ilmoittamat arvot tällä hetkellä listatuille koneille. Todellinen suorituskyky vaihtelee koneittain.
Saatavilla olevat kokoonpanot
Varastotiedot ja hinnat päivittyvät jatkuvasti. Lopullinen hinta vahvistetaan ennen tilaamista.
Ladataan hintoja…
Mihin CMP 170HX soveltuu
Muistisitoutunut LLM-inferenssi
Tarjoa suuria kielimalleja vLLM:n tai Ollama:n avulla hyödyntämällä 64 GB VRAM-kapasiteettia ja noin 1516 GB/s muistikaistanleveyttä.
Paljon muistia vaativa syväoppiminen
Aja PyTorch/CUDA-työkuormia, jotka edellyttävät merkittävää muistikapasiteettia ja laskentakyvykkyyttä 8.0, ilman mallien jakamista eri laitteille.
Monimutkaiset kuvageneroinnin työnkulut
Lataa useita suuria diffuusiotarkistuspisteitä ja ohjausverkkoja samanaikaisesti ComfyUI:ssa 64 GB muistialtaaseen.
Tietojenkäsittely ja simulointi
Suorita paljon muistia vaativia datakeskustehtäviä, jotka hyötyvät suuresta muistin läpimenosta 250 W tehorajan puitteissa.
Onko tämä oikea GPU sinulle?
Valitse CMP 170HX, kun työkuormasi pullonkaulana on muistikapasiteetti ja -kaistanleveys eikä yksittäistarkkuuden raaka laskentateho. Valitse suuremman laskentasuorituskyvyn GPU, jos tarvitset nopeampia koulutusiteraatioita, tai pienempi kuluttajakortti, jos mallisi eivät tarvitse 64 GB VRAM-muistia.
Vertaa vastaaviin GPU:ihin
Usein kysytyt kysymykset
Soveltuuko CMP 170HX LLM-inferenssiin?
Kyllä, sen 64 GB VRAM-muistia ja noin 1516 GB/s muistikaistanleveys sopivat hyvin suurten kielimallien lataamiseen ja tarjoamiseen vLLM:n ja Ollama:n kaltaisilla malleilla. Koska se tarjoaa kuitenkin noin 12.1 TFLOPS yksittäistarkkuuden laskentatehoa, promptien käsittely on hitaampaa kuin suuremman laskentatiheyden datakeskus-GPU:illa.
Miten tämä GPU vertautuu tavallisiin datakeskuskiihdyttimiin?
CMP 170HX tarjoaa suuren 64 GB muistipuskurin ja suuren muistikaistanleveyden tavallisten Ampere-datakeskuskorttien tapaan, ja sen TDP on 250 W. Sen keskeinen kompromissi on pienempi, noin 12.1 TFLOPS laskentasuorituskyky, minkä vuoksi se sopii paremmin muistisitoutuneisiin tehtäviin kuin raskaisiin laskentatyökuormiin.
Mitä ohjelmistoympäristöjä tälle GPU:lle on saatavilla?
Kortti tukee CUDA-laskentakyvykkyyttä 8.0, ja se voidaan käynnistää palvelussa ONIE esikonfiguroiduilla malleilla, kuten PyTorch/CUDA, vLLM, Ollama ja ComfyUI. Saat myös suoran SSH-käytön mukautettujen kirjastojen asentamiseen ja ympäristösi hallintaan.
Miten laskutus toimii CMP 170HX:ää vuokrattaessa?
Palvelun ONIE instansseissa käytetään tuntiperusteista laskutusta, joten maksat vain ajasta, jolloin GPU on aktiivinen.
Vuokraa CMP 170HX tunneittain
Luo tili, valitse kokoonpano ja yhdistä SSH:n kautta. Laskutus päättyy, kun poistat GPU:n.
Vuokraa CMP 170HX