Оренда GPU NVIDIA A40 погодинно
NVIDIA A40 — це серверний GPU на архітектурі Ampere з обчислювальною здатністю 8.6 та 45 GB VRAM. На ONIE він забезпечує близько 29.9 TFLOPS продуктивності з одинарною точністю та пропускну здатність пам'яті близько 536 GB/s у межах споживання 300 W. Його можна розгорнути з оплатою за годину, повним доступом через SSH та готовими шаблонами, зокрема PyTorch/CUDA, vLLM, Ollama і ComfyUI.
Характеристики
VRAM на кожен GPU
Архітектура
Обчислювальна здатність
Обчислення FP32
Пропускна здатність пам'яті
Ліміт потужності
Значення, надані постачальником інфраструктури для машин, що наразі представлені; реальна продуктивність залежить від конкретної машини.
Доступні конфігурації
Актуальна наявність і ціни, оновлюються постійно. Остаточну ціну буде підтверджено до оформлення замовлення.
Завантаження актуальних цін…
Для чого підходить A40
Інференс великих мовних моделей
Запускайте моделі, що потребують до 45 GB пам'яті, за допомогою попередньо налаштованих шаблонів vLLM або Ollama.
Донавчання глибоких нейронних мереж
Донавчайте нейронні мережі в PyTorch/CUDA з великим обсягом VRAM для більших розмірів батчів і ваг моделі.
Генеративні робочі процеси для зображень
Виконуйте складні дифузійні пайплайни та одночасно тримайте в пам'яті кілька чекпойнтів у ComfyUI.
Серверні обчислювальні завдання
Використовуйте близько 29.9 TFLOPS обчислень з одинарною точністю та пропускну здатність пам'яті близько 536 GB/s для симуляцій і рендерингу.
Чи підходить вам цей GPU?
Обирайте A40, якщо вашому робочому навантаженню потрібні 45 GB VRAM на серверній архітектурі Ampere, що перевищує можливості споживчих карт. Оберіть меншу споживчу карту, якщо ваші моделі вміщуються в меншу пам'ять, або перейдіть на серверний GPU з вищою пропускною здатністю, якщо навчання суттєво обмежується швидкістю пам'яті.
Порівняти зі схожими GPU
| GPU | VRAM на кожен GPU | Архітектура | Обчислення FP32 | Від / годину | Детальніше |
|---|---|---|---|---|---|
| A40 | 45 GB | Ampere | ≈ 29.9 TFLOPS | — | |
| RTX A6000 | 48 GB | Ampere | ≈ 36.1 TFLOPS | — | Детальніше |
| RTX 3090 | 24 GB | Ampere | ≈ 35.4 TFLOPS | — | Детальніше |
| RTX 3090 Ti | 24 GB | Ampere | ≈ 36.4 TFLOPS | — | Детальніше |
Часті запитання
Чи підходить NVIDIA A40 для інференсу та донавчання LLM?
Так, ємність 45 GB VRAM робить A40 добре придатним для розгортання середніх і великих мовних моделей та для ефективного донавчання з параметрами (PEFT). Ви можете одразу запустити шаблони vLLM, Ollama або PyTorch/CUDA на ONIE і почати роботу.
Як A40 порівнюється з меншими споживчими або більшими серверними GPU?
A40 має 45 GB VRAM, що дає вам більший запас пам'яті, ніж у звичайних споживчих GPU, для робочих навантажень, обмежених пам'яттю. Однак його пропускна здатність пам'яті близько 536 GB/s нижча, ніж у серверних GPU вищого рівня з пам'яттю HBM.
Які програмні середовища доступні для A40 на ONIE?
A40 підтримує обчислювальну здатність CUDA 8.6 і може бути розгорнутий з готовими шаблонами для PyTorch/CUDA, vLLM, Ollama та ComfyUI. Повний доступ через SSH включено, тож ви можете налаштувати програмний стек на свій розсуд.
Як працює оплата за екземпляри A40?
ONIE використовує оплату за годину для всіх оренд A40. Ви платите лише за час, поки екземпляр активний, що зручно як для коротких експериментів, так і для довгих продуктивних запусків.
Орендуйте A40 погодинно
Створіть обліковий запис, оберіть конфігурацію та підключіться через SSH. Оплата припиняється після видалення GPU.
Орендувати A40