Sewa GPU NVIDIA A40 mengikut jam
Kad NVIDIA A40 ialah GPU pusat data yang dibina atas seni bina Ampere dengan keupayaan pengiraan 8.6 dan VRAM 45 GB. Pada ONIE, ia menyampaikan kira-kira 29.9 TFLOPS prestasi ketepatan tunggal dan lebar jalur memori kira-kira 536 GB/s dalam sampul kuasa 300 W. Anda boleh melancarkannya dengan bil setiap jam, akses SSH penuh, dan templat sedia ada termasuk PyTorch/CUDA, vLLM, Ollama, dan ComfyUI.
Spesifikasi
VRAM bagi setiap GPU
Seni bina
Keupayaan pengiraan
Pengiraan FP32
Lebar jalur memori
Had kuasa
Nilai yang dilaporkan oleh pembekal infrastruktur untuk mesin yang disenaraikan pada masa ini; prestasi sebenar berbeza mengikut mesin.
Konfigurasi yang tersedia
Ketersediaan dan harga secara langsung, dikemas kini secara berterusan. Harga akhir disahkan sebelum anda membuat pesanan.
Memuatkan harga secara langsung…
Kegunaan A40
Inferens Large Language Model
Jalankan model yang memerlukan sehingga 45 GB memori menggunakan templat vLLM atau Ollama yang telah dikonfigurasi.
Penalaan Halus Deep Learning
Lakukan penalaan halus rangkaian neural dalam PyTorch/CUDA dengan VRAM yang mencukupi untuk saiz batch dan pemberat yang lebih besar.
Aliran Kerja Imej Generatif
Jalankan saluran paip difusi yang kompleks dan simpan berbilang checkpoint dalam memori secara serentak menggunakan ComfyUI.
Tugasan Pengkomputeran Pusat Data
Gunakan kira-kira 29.9 TFLOPS pengkomputeran ketepatan tunggal dan kira-kira 536 GB/s lebar jalur memori untuk beban kerja simulasi dan rendering.
Adakah ini GPU yang sesuai untuk anda?
Pilih A40 apabila beban kerja anda memerlukan 45 GB VRAM pada seni bina Ampere pusat data, yang melebihi kapasiti memori kad pengguna biasa. Pilih kad pengguna yang lebih kecil jika model anda muat dalam memori yang lebih kecil, atau beralih ke GPU pusat data berlebar jalur lebih tinggi jika tugasan latihan anda terhad teruk oleh throughput memori.
Bandingkan dengan GPU serupa
Soalan lazim
Adakah NVIDIA A40 sesuai untuk inferens dan penalaan halus LLM?
Ya, kapasiti VRAM 45 GB menjadikan A40 sesuai untuk menjalankan model bahasa bersaiz sederhana hingga besar dan melakukan penalaan halus cekap parameter. Anda boleh melancarkan templat vLLM, Ollama, atau PyTorch/CUDA terus pada ONIE untuk mula bekerja serta-merta.
Bagaimana A40 dibandingkan dengan GPU pengguna yang lebih kecil atau GPU pusat data yang lebih besar?
A40 menyediakan 45 GB VRAM, memberikan ruang memori yang lebih luas berbanding GPU pengguna biasa untuk beban kerja terikat memori. Walau bagaimanapun, lebar jalur memorinya iaitu kira-kira 536 GB/s adalah lebih rendah daripada GPU pusat data peringkat lebih tinggi yang menggunakan memori HBM.
Persekitaran perisian apakah yang tersedia untuk A40 pada ONIE?
A40 menyokong keupayaan pengiraan CUDA 8.6 dan boleh dilancarkan dengan templat sedia ada untuk PyTorch/CUDA, vLLM, Ollama, dan ComfyUI. Akses SSH penuh disertakan supaya anda boleh menyesuaikan tindanan perisian mengikut keperluan.
Bagaimanakah bil berfungsi untuk instans A40?
ONIE menggunakan bil setiap jam untuk semua sewaan A40. Anda hanya membayar untuk masa instans anda aktif, menjadikannya praktikal untuk eksperimen jangka pendek dan larian pengeluaran jangka panjang.
Sewa A40 mengikut jam
Cipta akaun, pilih konfigurasi dan sambung melalui SSH. Bil berhenti apabila anda memadam GPU.
Sewa A40