NVIDIA CMP 170HX GPU bérlése óránként
Az NVIDIA CMP 170HX egy Ampere architektúrájú adatközponti GPU, 64 GB VRAM-mal és 250 W TDP-vel. Körülbelül 1516 GB/s memória-sávszélességet és körülbelül 12,1 TFLOPS egyszeres pontosságú számítási teljesítményt nyújt, 8.0-s számítási képességgel. A(z) ONIE platformon ezt a kártyát órás elszámolással, teljes SSH-hozzáféréssel és PyTorch/CUDA, vLLM, Ollama és ComfyUI sablonokkal indíthatja el.
Műszaki adatok
VRAM GPU-nként
Architektúra
Számítási képesség
FP32 számítási teljesítmény
Memória-sávszélesség
Teljesítménykorlát
A szolgáltató által az aktuálisan kínált gépekhez megadott értékek; a tényleges teljesítmény gépenként eltérő lehet.
Elérhető konfigurációk
Élő készletadatok és árak, folyamatosan frissítve. A végleges árat a rendelés előtt megerősítjük.
Élő árak betöltése…
Mire való a CMP 170HX
Memóriakötött LLM-következtetés
Nagy nyelvi modellek kiszolgálása vLLM vagy Ollama segítségével, a 64 GB-os VRAM-kapacitás és a körülbelül 1516 GB/s memória-sávszélesség kihasználásával.
Nagy memóriaigényű mélytanulás
PyTorch/CUDA munkafolyamatok futtatása, amelyek jelentős memóriakapacitást és 8.0-s számítási képességet igényelnek, modellek eszközök közötti felosztása nélkül.
Összetett képgenerálási munkafolyamatok
Több nagy diffúziós modell-ellenőrzőpont és ControlNet egyidejű betöltése a ComfyUI-ban, a 64 GB-os memóriakészleten belül.
Adatfeldolgozás és szimuláció
Memóriaigényes adatközponti feladatok végrehajtása, amelyek profitálnak a nagy memória-átviteli sebességből, 250 W-os teljesítménykereten belül.
Ez a megfelelő GPU Önnek?
Válassza a CMP 170HX-et, ha munkafolyamatát a memóriakapacitás és a memória-sávszélesség korlátozza, nem pedig a nyers egyszeres pontosságú számítási teljesítmény. Gyorsabb tanítási iterációkhoz nagyobb számítási teljesítményű GPU-t válasszon, vagy kisebb fogyasztói kártyát, ha modelljeinek nincs szükségük 64 GB VRAM-ra.
Összehasonlítás hasonló GPU-kkal
Gyakori kérdések
Alkalmas-e a CMP 170HX LLM-következtetésre?
Igen, 64 GB-os VRAM-ja és körülbelül 1516 GB/s memória-sávszélessége révén jól alkalmas nagy nyelvi modellek betöltésére és kiszolgálására olyan sablonokkal, mint a vLLM és az Ollama. Mivel körülbelül 12,1 TFLOPS egyszeres pontosságú számítási teljesítményt nyújt, a prompt-feldolgozás lassabb lesz, mint a nagyobb számítássűrűségű adatközponti GPU-kon.
Hogyan viszonyul ez a GPU a szokásos adatközponti gyorsítókhoz?
A CMP 170HX nagy, 64 GB-os memóriapuffert és a szokásos Ampere adatközponti kártyákhoz hasonló memória-sávszélességet kínál, 250 W TDP mellett. Fő kompromisszuma a körülbelül 12,1 TFLOPS-os alacsonyabb számítási teljesítmény, így inkább memóriakötött feladatokhoz alkalmas, mint számításigényes munkafolyamatokhoz.
Milyen szoftverkörnyezetek érhetők el ehhez a GPU-hoz?
A kártya a CUDA 8.0-s számítási képességét támogatja, és a(z) ONIE platformon előre konfigurált sablonokkal indítható, többek között PyTorch/CUDA, vLLM, Ollama és ComfyUI sablonokkal. Emellett közvetlen SSH-hozzáférést kap egyéni könyvtárak telepítéséhez és a környezet kezeléséhez.
Hogyan működik az elszámolás a CMP 170HX bérlésekor?
A(z) ONIE platformon a példányok órás elszámolással működnek, így csak arra az időtartamra fizet, amíg a GPU aktív.
Bérelje a CMP 170HX-t óránkénti díjszabással
Hozzon létre fiókot, válasszon konfigurációt, majd csatlakozzon SSH-n keresztül. A számlázás a GPU törlésekor megszűnik.
CMP 170HX bérlése