Изнајмите NVIDIA A40 GPU по сату
NVIDIA A40 је GPU за дата центре заснован на архитектури Ampere, са рачунарским могућностима 8.6 и 45 GB VRAM-а. На платформи ONIE пружа око 29.9 TFLOPS перформанси у једнострукој прецизности и пропусни опсег меморије од око 536 GB/s уз потрошњу од 300 W. Можете да га примените уз обрачун по сату, потпуни SSH приступ и готове шаблоне, укључујући PyTorch/CUDA, vLLM, Ollama и ComfyUI.
Спецификације
VRAM по GPU-у
Архитектура
Compute capability
FP32 рачунање
Меморијска пропусност
Ограничење снаге
Вредности које пријављује добављач инфраструктуре за тренутно наведене машине; стварне перформансе се разликују од машине до машине.
Доступне конфигурације
Актуелне залихе и цене, ажурирају се непрекидно. Коначна цена се потврђује пре наручивања.
Учитавање цена у живо…
За шта је A40 добар
Инференција великих језичких модела
Покрећите моделе којима је потребно до 45 GB меморије помоћу унапред конфигурисаних vLLM или Ollama шаблона.
Додатно обучавање модела дубоког учења
Додатно обучавајте неуронске мреже у окружењу PyTorch/CUDA, уз довољно VRAM-а за веће групе података и тежине модела.
Токови рада за генерисање слика
Извршавајте сложене дифузионе процесе и истовремено држите више контролних тачака у меморији помоћу ComfyUI-ја.
Рачунарски задаци у дата центрима
Искористите око 29.9 TFLOPS рачунарских перформанси у једнострукој прецизности и пропусни опсег меморије од око 536 GB/s за симулације и рендеровање.
Да ли је то прави GPU за вас?
Изаберите A40 када Ваше радно оптерећење захтева 45 GB VRAM-а на архитектури Ampere за дата центре, што превазилази капацитет меморије стандардних графичких картица за потрошаче. Изаберите мању графичку картицу за потрошаче ако Ваши модели стају у мање меморије или пређите на GPU за дата центре са већим пропусним опсегом ако је проток меморије главно уско грло за послове обучавања.
Упоредите са сличним GPU-овима
Често постављана питања
Да ли је NVIDIA A40 погодан за инференцију и додатно обучавање LLM модела?
Да, капацитет од 45 GB VRAM-а чини A40 погодним за хостовање средњих и великих језичких модела и ефикасно додатно обучавање уз мали број параметара. Можете одмах да покренете vLLM, Ollama или PyTorch/CUDA шаблоне на платформи ONIE.
Како се A40 пореди са мањим GPU-овима за потрошаче или већим GPU-овима за дата центре?
A40 нуди 45 GB VRAM-а, односно више меморијског простора за радне задатке код којих је меморија уско грло него стандардни GPU-ови за потрошаче. Међутим, пропусни опсег меморије од око 536 GB/s мањи је него код GPU-ова вишег ранга за дата центре који користе HBM меморију.
Која софтверска окружења су доступна за A40 на платформи ONIE?
A40 подржава CUDA рачунарске могућности 8.6 и може да се примени уз готове шаблоне за PyTorch/CUDA, vLLM, Ollama и ComfyUI. Укључен је потпуни SSH приступ, па по потреби можете да прилагодите свој софтверски стек.
Како функционише обрачун за A40 инстанце?
ONIE обрачунава све закупе A40 по сату. Плаћате само време током ког је Ваша инстанца активна, што је практично и за кратке експерименте и за дужа продукциона покретања.
Изнајмите A40 по сату
Креирајте налог, изаберите конфигурацију и повежите се преко SSH-а. Наплата престаје када обришете GPU.
Изнајмите A40