Üüri NVIDIA CMP 170HX GPU-d tunnipõhiselt
NVIDIA CMP 170HX on Ampere’i arhitektuuriga andmekeskuse GPU, millel on 64 GB VRAM-i ja 250 W TDP. See pakub umbes 1516 GB/s mäluribalaiust ning umbes 12.1 TFLOPS-i ühekordse täpsusega arvutusvõimsust arvutusvõimekuse 8.0 juures. ONIE võimaldab selle kaardi kasutusele võtta tunnipõhise arvelduse, täieliku SSH-juurdepääsu ja PyTorch/CUDA, vLLM-i, Ollama ning ComfyUI valmis mallidega.
Tehnilised andmed
VRAM GPU kohta
Arhitektuur
Arvutusvõimekus
FP32 arvutusvõimsus
Mälu ribalaius
Energiapiirang
Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.
Saadaolevad konfiguratsioonid
Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.
Hindade laadimine…
Mille jaoks CMP 170HX sobib
Mäluribalaiusest sõltuv LLM-i järeldamine
Käivitage suuri keelemudeleid vLLM-i või Ollama abil, kasutades ära 64 GB VRAM-i ja umbes 1516 GB/s mäluribalaiust.
Suurt mälumahtu vajav süvaõpe
Käivitage PyTorch/CUDA töökoormusi, mis vajavad suurt mälumahtu ja arvutusvõimekust 8.0, ilma et peaksite mudeleid mitme seadme vahel jagama.
Keerukad piltide genereerimise töövood
Laadige ComfyUI-s 64 GB mälumahu piires korraga mitu suurt difusioonimudelit ja juhtvõrku.
Andmetöötlus ja simulatsioon
Käivitage mälumahukaid andmekeskuse tööülesandeid, millele tuleb kasuks suur mäluläbilase 250 W võimsuspiiri juures.
Kas see GPU sobib sulle?
Valige CMP 170HX, kui teie töökoormust piiravad pigem mälumaht ja mäluribalaius kui ühekordse täpsusega arvutusvõimsus. Kui vajate treeningu kiiremaks läbimiseks suuremat arvutusläbilaset, valige võimsam GPU. Kui teie mudelid ei vaja 64 GB VRAM-i, sobib ka väiksem tarbijatele mõeldud kaart.
Võrdle sarnaste GPU-dega
| GPU | VRAM GPU kohta | Arhitektuur | FP32 arvutusvõimsus | Alates / tund | Üksikasjad |
|---|---|---|---|---|---|
| CMP 170HX | 64 GB | Ampere | ≈ 12.1 TFLOPS | — | |
| Q RTX 8000 | 45 GB | Turing | ≈ 11.9 TFLOPS | — | Üksikasjad |
| A800 PCIE | 80 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
| A100 PCIE | 40 GB | Ampere | ≈ 15.6 TFLOPS | — | Üksikasjad |
Korduma kippuvad küsimused
Kas CMP 170HX sobib LLM-i järeldamiseks?
Jah. Selle 64 GB VRAM ja umbes 1516 GB/s mäluribalaius sobivad hästi suurte keelemudelite laadimiseks ja teenindamiseks vLLM-i ja Ollama mallide abil. Kuna selle ühekordse täpsusega arvutusvõimsus on umbes 12.1 TFLOPS-i, on prompti töötlemine siiski aeglasem kui suurema arvutustihedusega andmekeskuse GPU-del.
Kuidas see GPU võrdub tavaliste andmekeskuse kiirenditega?
CMP 170HX pakub suurt, 64 GB mälupuhvrit ja suurt mäluribalaiust, mis on sarnane tavaliste Ampere’i andmekeskuse kaartidega, ning töötab 250 W TDP-ga. Peamine kompromiss on väiksem, umbes 12.1 TFLOPS-i arvutusläbilase, mistõttu sobib see paremini mälumahust sõltuvateks töödeks kui arvutusmahukateks töökoormusteks.
Millised tarkvarakeskkonnad on selle GPU jaoks saadaval?
Kaart toetab CUDA arvutusvõimekust 8.0 ja selle saab ONIE keskkonnas käivitada eelseadistatud mallidega, sealhulgas PyTorch/CUDA, vLLM, Ollama ja ComfyUI. Samuti saate otse SSH kaudu ühenduda, et paigaldada kohandatud teeke ja hallata oma keskkonda.
Kuidas CMP 170HX-i rentimise eest arveldatakse?
ONIE eksemplaride eest arveldatakse tunni kaupa, seega maksate ainult aja eest, mil teie GPU on aktiivne.
Telli CMP 170HX tunni kaupa
Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.
Telli CMP 170HX