Наемете NVIDIA A40 GPU на почасова база
NVIDIA A40 е център за данни GPU, базиран на архитектурата Ampere, с изчислителна способност 8.6 и 45 GB VRAM. В ONIE той осигурява около 29.9 TFLOPS производителност при единична точност и около 536 GB/s пропускателна способност на паметта при мощност 300 W. Можете да го внедрите с почасово таксуване, пълен SSH достъп и готови шаблони, включително PyTorch/CUDA, vLLM, Ollama и ComfyUI.
Спецификации
VRAM на GPU
Архитектура
Изчислителна способност
FP32 изчисления
Пропускателна способност на паметта
Лимит на мощността
Стойностите са предоставени от доставчика на инфраструктурата за машините, които са в момента в списъка; реалната производителност варира в зависимост от машината.
Налични конфигурации
Наличността и цените са в реално време и се обновяват непрекъснато. Крайната цена се потвърждава, преди да поръчате.
Зареждане на цените в реално време…
За какво е подходящ A40
Инференция с големи езикови модели
Стартирайте модели, които изискват до 45 GB памет, с предварително конфигурирани шаблони за vLLM или Ollama.
Фино настройване на модели за дълбоко обучение
Настройвайте фино невронни мрежи с PyTorch/CUDA и използвайте достатъчно VRAM за по-големи партиди и тегла.
Работни процеси за генериране на изображения
Изпълнявайте сложни дифузионни пайплайни и съхранявайте едновременно множество контролни точки в паметта с ComfyUI.
Изчислителни задачи в център за данни
Използвайте около 29.9 TFLOPS изчислителна мощност при единична точност и около 536 GB/s пропускателна способност на паметта за симулации и рендиране.
Подходящ ли е този GPU за вас?
Изберете A40, когато работното Ви натоварване изисква 45 GB VRAM на център за данни с архитектура Ampere — повече от стандартния капацитет на потребителските карти. Изберете по-малка потребителска карта, ако моделите Ви се побират в по-малко памет, или преминете към GPU за център за данни с по-висока пропускателна способност, ако задачите Ви за обучение са силно ограничени от скоростта на паметта.
Сравнете с подобни GPU
| GPU | VRAM на GPU | Архитектура | FP32 изчисления | От / час | Подробности |
|---|---|---|---|---|---|
| A40 | 45 GB | Ampere | ≈ 29.9 TFLOPS | — | |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | Подробности |
| RTX 3090 | 24 GB | Ampere | ≈ 35.4 TFLOPS | — | Подробности |
| RTX 3090 Ti | 24 GB | Ampere | ≈ 36.4 TFLOPS | — | Подробности |
Често задавани въпроси
Подходяща ли е NVIDIA A40 за инференция и фино настройване на LLM?
Да, капацитетът от 45 GB VRAM прави A40 подходяща за хостване на средни и големи езикови модели и за фино настройване с ефективно използване на параметрите. Можете да стартирате шаблони за vLLM, Ollama или PyTorch/CUDA директно в ONIE и да започнете работа веднага.
Как се сравнява A40 с по-малките потребителски GPU или по-мощните GPU за центрове за данни?
A40 осигурява 45 GB VRAM, което дава повече запас от памет в сравнение със стандартните потребителски GPU при натоварвания, ограничени от паметта. Пропускателната ѝ способност от около 536 GB/s обаче е по-ниска от тази на по-високия клас GPU за центрове за данни, които използват HBM памет.
Какви софтуерни среди са налични за A40 в ONIE?
A40 поддържа CUDA изчислителна способност 8.6 и може да бъде внедрена с готови шаблони за PyTorch/CUDA, vLLM, Ollama и ComfyUI. Включен е пълен SSH достъп, за да можете да персонализирате софтуерния си стек според нуждите си.
Как се таксуват инстанциите с A40?
ONIE таксува всички наеми на A40 на час. Плащате само за времето, през което инстанцията Ви е активна, което я прави удобна както за кратки експерименти, така и за по-продължителни продукционни задачи.
Наемете A40 на час
Създайте акаунт, изберете конфигурация и се свържете през SSH. Таксуването спира, когато изтриете GPU-то.
Наемете A40