GPU Cloud · NVIDIA · Ampere

Lej en NVIDIA A100 PCIE GPU pr. time

NVIDIA A100 PCIE er en datacenter-GPU baseret på Ampere-arkitekturen med 40 GB VRAM og en effektgrænse på 250 W. Den leverer omkring 15.6 TFLOPS regnekraft til standardberegninger med flydende kommatal og omkring 1313 GB/s hukommelsesbåndbredde og understøtter CUDA-beregningskapacitet 8.0. Hos ONIE kan du leje hardwaren med timeafregning, SSH-adgang og færdige skabeloner til PyTorch/CUDA, vLLM, Ollama og ComfyUI.

Specifikationer

VRAM pr. GPU

40 GB

Arkitektur

NVIDIA Ampere

Compute capability

8.0

FP32-beregning

≈ 15.6 TFLOPS

Hukommelsesbåndbredde

≈ 1.313 GB/s

Effektgrænse

250 W

Værdier oplyst af infrastrukturudbyderen for de maskiner, der aktuelt er listet; den reelle ydeevne varierer fra maskine til maskine.

Tilgængelige konfigurationer

Lagerstatus og priser opdateres løbende. Den endelige pris bekræftes, før du bestiller.

Indlæser aktuelle priser…

Hvad A100 PCIE er god til

Inferens med store sprogmodeller

Kør sprogmodeller med vLLM eller Ollama, og udnyt kapaciteten på 40 GB VRAM og hukommelsesbåndbredden på omkring 1313 GB/s til generering af tokens.

Finjustering af deep learning-modeller

Kør træning og finjustering i PyTorch/CUDA på en Ampere-datacenterarkitektur med beregningskapacitet 8.0.

Billedgenerering i høj opløsning

Kør komplekse diffusionsworkflows i ComfyUI, som kræver mere hukommelse, end GPU-kort til almindelige forbrugere tilbyder.

Videnskabelige beregninger og databehandling

Behandl hukommelseskrævende simuleringer og dataanalyseopgaver med omkring 15.6 TFLOPS regnekraft.

Er det den rigtige GPU til dig?

Vælg A100 PCIE 40 GB, når dine opgaver overskrider hukommelsesgrænserne for GPU'er til almindelige forbrugere og kræver datacenterhardware med høj båndbredde. Vælg en mindre GPU til almindelige forbrugere til lettere inferens, eller vælg en datacentermodel med mere VRAM, hvis dine ikke-kvantiserede modeller eller batchstørrelser overstiger 40 GB.

Sammenlign med lignende GPU'er

GPUVRAM pr. GPUArkitekturFP32-beregningFra / timeDetaljer
A100 PCIE40 GBAmpere≈ 15.6 TFLOPS—
A100 SXM440 GBAmpere≈ 15.6 TFLOPS—Detaljer
Q RTX 800045 GBTuring≈ 11.9 TFLOPS—Detaljer
A800 PCIE80 GBAmpere≈ 15.6 TFLOPS—Detaljer

Ofte stillede spørgsmål

Er A100 PCIE velegnet til inferens og finjustering af LLM'er?

Ja, dens 40 GB VRAM og hukommelsesbåndbredde på omkring 1313 GB/s gør den velegnet til at køre og finjustere mellemstore og store modeller, som ikke kan være på GPU-kort til almindelige forbrugere. Du kan hurtigt sætte dine opgaver i gang med forudkonfigurerede skabeloner til vLLM, Ollama eller PyTorch/CUDA.

Hvordan klarer A100 PCIE med 40 GB sig i forhold til andre GPU-klasser?

Som et Ampere-datacenterkort har det markant højere hukommelsesbåndbredde og mere VRAM end almindelige GPU'er til arbejdsstationer eller forbrugere. Hvis din trænings- eller inferensproces kræver endnu mere hukommelse, bør du overveje en større datacenter-GPU.

Hvordan opretter jeg forbindelse til og konfigurerer min instans hos ONIE?

Hver lejeaftale inkluderer fuld SSH-adgang, så du kan administrere instansen direkte fra kommandolinjen. Du kan også starte din instans med færdige skabeloner til PyTorch/CUDA, vLLM, Ollama eller ComfyUI og komme i gang med det samme.

Hvordan fungerer afregningen for A100 PCIE?

Instanser hos ONIE afregnes pr. time, så du kun betaler for den tid, din datacenter-GPU er aktiv.

Lej A100 PCIE per time

Opret en konto, vælg en konfiguration og forbind via SSH. Faktureringen stopper, når du sletter GPU'en.

Lej A100 PCIE

Alle GPU'er →