లాగిన్
GPU Cloud · NVIDIA · Ada Lovelace

గంటకు NVIDIA L4 GPUని అద్దెకు తీసుకోండి

NVIDIA L4 అనేది Ada Lovelace ఆర్కిటెక్చర్‌పై ఆధారపడిన డేటాసెంటర్ GPU. దీనిలో 22 GB VRAM ఉంది మరియు విద్యుత్ పరిధి 72 W. ఇది సుమారు 24.2 TFLOPS సింగిల్-ప్రెసిషన్ ఫ్లోటింగ్-పాయింట్ పనితీరును, సుమారు 221 GB/s మెమరీ బ్యాండ్‌విడ్త్‌ను అందిస్తుంది; CUDA compute capability 8.9. ONIEపై గంటకు చొప్పున బిల్లింగ్, పూర్తి SSH యాక్సెస్‌తో దీన్ని అద్దెకు తీసుకోండి. PyTorch/CUDA, vLLM, Ollama, మరియు ComfyUI కోసం సిద్ధమైన టెంప్లేట్లు కూడా అందుబాటులో ఉన్నాయి.

L4ను అద్దెకు తీసుకోండి

స్పెసిఫికేషన్‌లు

GPUకి VRAM

22 GB

ఆర్కిటెక్చర్

NVIDIA Ada Lovelace

కంప్యూట్ సామర్థ్యం

8.9

FP32 కంప్యూట్

≈ 24.2 TFLOPS

మెమరీ బ్యాండ్‌విడ్త్

≈ 221 GB/s

పవర్ పరిమితి

72 W

ప్రస్తుతం జాబితాలో ఉన్న యంత్రాల కోసం ఇన్‌ఫ్రాస్ట్రక్చర్ ప్రొవైడర్ నివేదించిన విలువలు; వాస్తవ పనితీరు యంత్రాన్ని బట్టి మారుతుంది.

అందుబాటులో ఉన్న కాన్ఫిగరేషన్‌లు

ప్రత్యక్ష స్టాక్ మరియు ధరలు, నిరంతరం నవీకరించబడతాయి. ఆర్డర్ చేయడానికి ముందు తుది ధర నిర్ధారించబడుతుంది.

ప్రత్యక్ష ధరలు లోడ్ అవుతున్నాయి…

L4 దేనికి ఉపయోగపడుతుంది

భాషా మోడల్ ఇన్ఫరెన్స్

ముందే కాన్ఫిగర్ చేసిన vLLM లేదా Ollama టెంప్లేట్లను ఉపయోగించి 22 GB VRAM బఫర్‌లో క్వాంటైజ్డ్ లేదా చిన్న-నుంచి-మధ్యస్థ భాషా మోడల్స్‌ను నడపండి.

ఇమేజ్ జనరేషన్ వర్క్‌ఫ్లోలు

Ada Lovelace ఆర్కిటెక్చర్ ఫీచర్లను ఉపయోగిస్తూ, 22 GB మెమరీలో సౌకర్యవంతంగా సరిపోయే ComfyUI పైప్‌లైన్లను అమర్చండి.

తేలికపాటి ఫైన్-ట్యూనింగ్

అధిక విద్యుత్ వినియోగం గల డేటాసెంటర్ కార్డ్ అవసరం లేకుండా PyTorch/CUDA వాతావరణాలలో పారామీటర్-ఎఫిషియెంట్ ఫైన్-ట్యూనింగ్ మరియు అడాప్టర్ ట్రైనింగ్ జాబ్‌లను అమలు చేయండి.

బ్యాచ్ మీడియా మరియు విజన్

72 W రేటింగ్ ఉన్న డేటాసెంటర్ GPUపై కంప్యూటర్ విజన్ ఇన్ఫరెన్స్ మరియు వీడియో వర్క్‌లోడ్స్‌ను ప్రాసెస్ చేయండి.

ఇది మీకు సరైన GPUనా?

మీకు 22 GB VRAM మరియు Ada Lovelace compute capability 8.9 అవసరమైనప్పుడు, ఇన్ఫరెన్స్ లేదా మధ్యస్థ ట్రైనింగ్ వర్క్‌లోడ్స్ కోసం L4ని ఎంచుకోండి. మీ మోడల్స్ 22 GBని మించినప్పుడు లేదా సుమారు 221 GB/s కంటే ఎక్కువ మెమరీ బ్యాండ్‌విడ్త్ అవసరమైనప్పుడు పెద్ద డేటాసెంటర్ GPUకి మారండి. ప్రాథమిక డెవలప్‌మెంట్ పనులకు తక్కువ మెమరీ సరిపోయే చిన్న కార్డ్‌ను ఎంచుకోవచ్చు.

సారూప్య GPUలతో పోల్చండి

GPUGPUకి VRAMఆర్కిటెక్చర్FP32 కంప్యూట్గంటకు ప్రారంభ ధరవివరాలు
L422 GBAda Lovelace≈ 24.2 TFLOPS—
RTX 5060 Ti16 GBBlackwell≈ 22.8 TFLOPS—వివరాలు
RTX 4060 Ti16 GBAda Lovelace≈ 21.6 TFLOPS—వివరాలు
RTX A400016 GBAmpere≈ 20.6 TFLOPS—వివరాలు

తరచుగా అడిగే ప్రశ్నలు

NVIDIA L4 LLM ఇన్ఫరెన్స్‌కు అనుకూలమా?

అవును, 22 GB VRAM చిన్న మరియు మధ్యస్థ భాషా మోడల్స్ లేదా క్వాంటైజ్డ్ వెయిట్స్‌ను హోస్ట్ చేయడానికి అనుమతిస్తుంది. ONIEపై vLLM లేదా Ollama టెంప్లేట్లను ప్రారంభించి వెంటనే మోడల్స్‌ను సర్వ్ చేయడం మొదలుపెట్టవచ్చు.

పెద్ద డేటాసెంటర్ GPUలతో L4 ఎలా పోలుస్తుంది?

L4 సమర్థతకు రూపొందించబడింది: 72 W విద్యుత్ వినియోగం, సుమారు 24.2 TFLOPS సింగిల్-ప్రెసిషన్ కంప్యూట్, మరియు సుమారు 221 GB/s మెమరీ బ్యాండ్‌విడ్త్. పెద్ద డేటాసెంటర్ GPUలు భారీ ట్రైనింగ్ కోసం ఎక్కువ VRAM మరియు అధిక మెమరీ బ్యాండ్‌విడ్త్ అందిస్తాయి, అయితే L4 ఖర్చు-సమర్థవంతమైన ఇన్ఫరెన్స్ మరియు తేలికపాటి వర్క్‌లోడ్స్‌పై దృష్టి పెడుతుంది.

ONIEపై L4 కోసం ఏ సాఫ్ట్‌వేర్ టెంప్లేట్లు అందుబాటులో ఉన్నాయి?

PyTorch/CUDA, vLLM, Ollama, మరియు ComfyUI కోసం సిద్ధమైన టెంప్లేట్లతో L4ని డిప్లాయ్ చేయవచ్చు. అన్ని ఇన్‌స్టెన్స్‌లలో SSH యాక్సెస్ ఉంటుంది, కాబట్టి మీరు మీ సాఫ్ట్‌వేర్ వాతావరణాన్ని మరియు CUDA compute capability 8.9 వర్క్‌ఫ్లోలను కస్టమైజ్ చేసుకోవచ్చు.

L4 ఇన్‌స్టెన్స్‌ల బిల్లింగ్ ఎలా పనిచేస్తుంది?

ONIE L4 ఇన్‌స్టెన్స్‌లకు గంట ఆధారంగా బిల్ చేస్తుంది. మీ ఇన్‌స్టెన్స్ యాక్టివ్‌గా ఉన్న సమయానికి మాత్రమే చెల్లిస్తారు, ఇది చిన్న ప్రయోగాలకు మరియు నిరంతర ఇన్ఫరెన్స్ పనులకు ఉపయోగకరంగా ఉంటుంది.

L4ను గంటల వారీగా అద్దెకు తీసుకోండి

ఖాతాను సృష్టించండి, కాన్ఫిగరేషన్‌ను ఎంచుకుని SSH ద్వారా కనెక్ట్ చేయండి. మీరు GPUను తొలగించినప్పుడు బిల్లింగ్ ఆగిపోతుంది.

L4ను అద్దెకు తీసుకోండి

అన్ని GPUలు →