GPU Cloud · NVIDIA · Turing

Üüri NVIDIA Q RTX 4000 GPU-d tunnipõhiselt

NVIDIA Q RTX 4000 on Turingi arhitektuuril põhinev tööjaama GPU, mida saab ONIE kaudu rentida lihtsamate AI- ja graafikaülesannete jaoks. Sellel on 8 GB VRAM-i, ühekordse täpsusega arvutusjõudlus umbes 7.7 TFLOPS ja mälu läbilaskevõime umbes 353 GB/s, võimsustarbega 125 W. CUDA arvutusvõimega 7.5 eksemplari saab käivitada PyTorch/CUDA, vLLM-i, Ollama ja ComfyUI valmismallidega.

Tehnilised andmed

VRAM GPU kohta

8 GB

Arhitektuur

NVIDIA Turing

Arvutusvõimekus

7.5

FP32 arvutusvõimsus

≈ 7.7 TFLOPS

Mälu ribalaius

≈ 353 GB/s

Energiapiirang

125 W

Väärtused on infrastruktuuri pakkuja esitatud praegu pakutavate masinate kohta; tegelik jõudlus võib masinati erineda.

Saadaolevad konfiguratsioonid

Laoseis ja hinnad uuenevad pidevalt. Lõplik hind kinnitatakse enne tellimust.

Hindade laadimine…

Mille jaoks Q RTX 4000 sobib

Koodi prototüüpimine ja silumine

Testige ja kontrollige PyTorch/CUDA töövooge 8 GB mäluga tööjaama GPU-l enne võimsama riistvara kasutuselevõttu.

Väikeste mudelitega inferents

Käivitage Ollama või vLLM-i abil väikseid keelemudeleid, mis mahuvad 8 GB VRAM-i.

Lihtsam pildigenereerimine

Käivitage ComfyUI-s tavapäraseid pildigenereerimise töövooge, mis ei ületa 8 GB mälupiirangut.

Tööjaama graafika ja renderdamine

Kasutage Turingi arhitektuuri ja umbes 353 GB/s mälu läbilaskevõimet kaugrenderdamiseks ja visualiseerimiseks.

Kas see GPU sobib sulle?

Valige Q RTX 4000 kergekaaluliseks inferentsiks, renderdamiseks ja koodiarenduseks, milleks piisab 8 GB VRAM-ist ja CUDA arvutusvõimest 7.5. Mahukaks mudelite treenimiseks või suuremahuliseks inferentsiks valige suurema mäluga ja uuema arhitektuuriga GPU; lihtsamate kuva- või minimaalset arvutusvõimsust nõudvate ülesannete jaoks sobib väiksem GPU.

Võrdle sarnaste GPU-dega

GPUVRAM GPU kohtaArhitektuurFP32 arvutusvõimsusAlates / tundÜksikasjad
Q RTX 40008 GBTuring≈ 7.7 TFLOPS—
RTX 20708 GBTuring≈ 7.7 TFLOPS—Üksikasjad
GTX 10808 GBPascal≈ 7.8 TFLOPS—Üksikasjad
RTX 2060S8 GBTuring≈ 7.5 TFLOPS—Üksikasjad

Korduma kippuvad küsimused

Kas Q RTX 4000 sobib LLM-i inferentsiks ja järelhäälestuseks?

8 GB VRAM-i ja umbes 7.7 TFLOPS ühekordse täpsusega jõudlusega sobib see Ollama või vLLM-i abil väikeste mudelitega inferentsiks. Suuremate mudelite või täieliku järelhäälestuse jaoks valige GPU, millel on rohkem VRAM-i ja suurem mälu läbilaskevõime kui umbes 353 GB/s.

Kas saan seda GPU-d kasutada ComfyUI ja pildigenereerimise jaoks?

Jah, ONIE pakub ComfyUI valmismalli, mis töötab selle Turingi arhitektuuriga tööjaama GPU-l. See sobib tavapärastele genereerimise töövoogudele, mis mahuvad 8 GB mällu. Mahukamad töövood vajavad suurema mäluga GPU-d.

Kuidas saan eksemplariga ühenduse luua ja milline tarkvara on eelinstallitud?

Saate töötava eksemplariga otse SSH kaudu ühenduse luua. ONIE pakub eelseadistatud malle, sealhulgas PyTorch/CUDA, vLLM, Ollama ja ComfyUI, et saaksite kohe tööle asuda.

Kuidas toimub Q RTX 4000 eest arveldamine ONIE platvormil?

Eksemplari kasutamise eest arveldatakse tunnipõhiselt ajal, mil tööjaama GPU on aktiivne. Nii saate arendus- või renderdusseansse käivitada ja pärast töö lõpetamist eksemplari sulgeda.

Telli Q RTX 4000 tunni kaupa

Loo konto, vali konfiguratsioon ja ühendu SSH kaudu. Arveldamine lõpeb, kui GPU kustutad.

Telli Q RTX 4000

Kõik GPU-d →