Question 1

Подходит ли CMP 170HX для инференса LLM?

Accepted Answer

Да, благодаря 64 GB VRAM и пропускной способности памяти около 1516 GB/s эта карта отлично подходит для загрузки и обслуживания больших языковых моделей с использованием шаблонов vLLM и Ollama. Однако, поскольку она обеспечивает около 12.1 TFLOPS вычислений одинарной точности, обработка промптов будет медленнее, чем на GPU для дата-центров с более высокой плотностью вычислений.

Question 2

Как этот GPU соотносится со стандартными ускорителями для дата-центров?

Accepted Answer

CMP 170HX предлагает большой буфер памяти на 64 GB и высокую пропускную способность памяти на уровне стандартных серверных карт Ampere при TDP 250 W. Основным компромиссом является более низкая вычислительная производительность (около 12.1 TFLOPS), что делает его более подходящим для задач, ограниченных памятью, нежели для тяжелых вычислительных нагрузок.

Question 3

Какие программные окружения доступны для этого GPU?

Accepted Answer

Карта поддерживает вычислительную способность CUDA 8.0 и может быть запущена на ONIE с использованием преднастроенных шаблонов, включая PyTorch/CUDA, vLLM, Ollama и ComfyUI. Вы также получаете прямой доступ по SSH для установки собственных библиотек и управления вашим окружением.

Question 4

Как работает тарификация при аренде CMP 170HX?

Accepted Answer

Инстансы на ONIE используют почасовую тарификацию, поэтому вы платите только за то время, пока ваш GPU остается активным.

GPU	VRAM на GPU	Архитектура	Производительность FP32	От / час	Подробнее
CMP 170HX	64 GB	Ampere	≈ 12.1 TFLOPS	—
Q RTX 8000	45 GB	Turing	≈ 11.9 TFLOPS	—	Подробнее
A800 PCIE	80 GB	Ampere	≈ 15.6 TFLOPS	—	Подробнее
A100 PCIE	40 GB	Ampere	≈ 15.6 TFLOPS	—	Подробнее

Почасовая аренда GPU NVIDIA CMP 170HX

Характеристики

VRAM на GPU

Архитектура

Вычислительная способность

Производительность FP32

Пропускная способность памяти

Лимит мощности

Доступные конфигурации

Сравнение с аналогичными GPU

Почасовая аренда CMP 170HX