Īrējiet NVIDIA A40 GPU pa stundām
NVIDIA A40 ir datu centru GPU, kas veidots, izmantojot Ampere arhitektūru, un tam ir 8.6 skaitļošanas iespēju versija un 45 GB VRAM. Vietnē ONIE tas nodrošina aptuveni 29.9 TFLOPS vienas precizitātes veiktspēju un aptuveni 536 GB/s atmiņas joslas platumu, patērējot 300 W. Varat to izvietot ar stundas norēķiniem, pilnu SSH piekļuvi un gatavām veidnēm, tostarp PyTorch/CUDA, vLLM, Ollama un ComfyUI.
Specifikācijas
VRAM katram GPU
Arhitektūra
Skaitļošanas spēja
FP32 skaitļošana
Atmiņas joslas platums
Jaudas ierobežojums
Vērtības, ko par pašlaik piedāvātajiem serveriem norādījis infrastruktūras nodrošinātājs; reālā veiktspēja dažādos serveros var atšķirties.
Pieejamās konfigurācijas
Aktuālie krājumi un cenas, kas tiek atjaunotas nepārtraukti. Galīgā cena tiek apstiprināta pirms pasūtīšanas.
Ielādē aktuālās cenas…
Kam ir piemērots A40
Lielo valodu modeļu inferencēšana
Palaidiet modeļus, kuriem nepieciešama līdz 45 GB atmiņa, izmantojot iepriekš konfigurētas vLLM vai Ollama veidnes.
Padziļinātā mācīšanās modeļu pielāgošana
Pielāgojiet neironu tīklus ar PyTorch/CUDA, izmantojot lielo VRAM apjomu, kas ļauj izmantot lielākas datu paketes un svarus.
Ģeneratīvās attēlu apstrādes darbplūsmas
Izpildiet sarežģītas difūzijas konveijera darbplūsmas un vienlaikus turiet atmiņā vairākus kontrolpunktus, izmantojot ComfyUI.
Datu centru skaitļošanas uzdevumi
Izmantojiet aptuveni 29.9 TFLOPS vienas precizitātes veiktspēju un aptuveni 536 GB/s atmiņas joslas platumu simulācijas un renderēšanas uzdevumiem.
Vai tas ir piemērots GPU Jums?
Izvēlieties A40, ja Jūsu darba slodzei nepieciešami 45 GB VRAM datu centru GPU ar Ampere arhitektūru, kas pārsniedz standarta patērētāju GPU atmiņas ietilpību. Izvēlieties mazāku patērētāju GPU, ja Jūsu modeļi ietilpst mazākā atmiņā, vai pārejiet uz datu centru GPU ar lielāku joslas platumu, ja atmiņas caurlaidspēja būtiski ierobežo Jūsu apmācības uzdevumus.
Salīdzināt ar līdzīgiem GPU
Biežāk uzdotie jautājumi
Vai NVIDIA A40 ir piemērots LLM inferencēšanai un pielāgošanai?
Jā, A40 45 GB VRAM ietilpība ir piemērota vidēju un lielu valodu modeļu izvietošanai, kā arī parametru ziņā efektīvai pielāgošanai. Lai nekavējoties sāktu darbu, varat tieši vietnē ONIE palaist vLLM, Ollama vai PyTorch/CUDA veidnes.
Kā A40 salīdzināms ar mazākiem patērētāju GPU vai lielākiem datu centru GPU?
A40 nodrošina 45 GB VRAM, tādējādi atmiņas ietilpība atmiņas ierobežotām darba slodzēm ir lielāka nekā standarta patērētāju GPU. Tomēr tā aptuveni 536 GB/s atmiņas joslas platums ir mazāks nekā augstākās klases datu centru GPU ar HBM atmiņu.
Kādas programmatūras vides A40 ir pieejamas vietnē ONIE?
A40 atbalsta CUDA 8.6 skaitļošanas iespēju versiju, un to var izvietot ar gatavām PyTorch/CUDA, vLLM, Ollama un ComfyUI veidnēm. Ir iekļauta pilna SSH piekļuve, lai vajadzības gadījumā varētu pielāgot programmatūras kopu.
Kā tiek aprēķināta maksa par A40 instancēm?
ONIE par visiem A40 nomas pakalpojumiem piemēro stundas norēķinus. Jūs maksājat tikai par laiku, kamēr instance ir aktīva, tāpēc šis risinājums ir piemērots gan īsiem eksperimentiem, gan ilgākiem ražošanas uzdevumiem.
Nomājiet A40 pa stundām
Izveidojiet kontu, izvēlieties konfigurāciju un pieslēdzieties caur SSH. Norēķini tiek pārtraukti, kad dzēšat GPU.
Nomāt A40