గంటకు NVIDIA Tesla P40 GPUని అద్దెకు తీసుకోండి
NVIDIA Tesla P40 అనేది Pascal ఆర్కిటెక్చర్ ఆధారిత డేటాసెంటర్ GPU, ఇది 24 GB VRAM మరియు compute capability 6.1 కలిగి ఉంటుంది. ఇది సుమారు 9.4 TFLOPS single-precision compute మరియు సుమారు 257 GB/s మెమరీ బ్యాండ్‌విడ్త్‌ను 250 W థర్మల్ పరిధిలో అందిస్తుంది. ONIE లో, మీరు ఈ GPU ను గంట వారీ బిల్లింగ్, SSH యాక్సెస్ మరియు PyTorch/CUDA, vLLM, Ollama, ComfyUI కోసం ముందే కాన్ఫిగర్ చేసిన టెంప్లేట్‌లతో అద్దెకు తీసుకోవచ్చు.
స్పెసిఫికేషన్‌లు
GPUకి VRAM
ఆర్కిటెక్చర్
కంప్యూట్ సామర్థ్యం
FP32 కంప్యూట్
మెమరీ బ్యాండ్విడ్త్
పవర్ పరిమితి
ప్రస్తుతం జాబితాలో ఉన్న యంత్రాల కోసం ఇన్‌ఫ్రాస్ట్రక్చర్ ప్రొవైడర్ నివేదించిన విలువలు; వాస్తవ పనితీరు యంత్రాన్ని బట్టి మారుతుంది.
అందుబాటులో ఉన్న కాన్ఫిగరేషన్‌లు
ప్రత్యక్ష స్టాక్ మరియు ధరలు, నిరంతరం నవీకరించబడతాయి. ఆర్డర్ చేయడానికి ముందు తుది ధర నిర్ధారించబడుతుంది.
ప్రత్యక్ష ధరలు లోడ్ అవుతున్నాయి…
Tesla P40 దేనికి ఉపయోగపడుతుంది
Quantized LLM Inference
Ollama లేదా vLLM వంటి సిద్ధ టెంప్లేట్లను ఉపయోగించి 24 GB వరకు మెమరీ అవసరమయ్యే స్థానిక భాషా నమూనాలను నడపండి.
Image Generation Workflows
బహుళ checkpoints మరియు control nets లోడ్ చేయడానికి ఉదారమైన VRAM సామర్థ్యం ప్రయోజనకరంగా ఉండే ComfyUI పైప్‌లైన్‌లను హోస్ట్ చేయండి.
Legacy CUDA Development
Pascal ఆర్కిటెక్చర్ మరియు compute capability 6.1 లక్ష్యంగా PyTorch/CUDA అనువర్తనాలను నిర్మించండి, పరీక్షించండి మరియు నిర్వహించండి.
Memory-Bound Batch Processing
రా కంప్యూట్ వేగం కంటే 24 GB VRAM లో పెద్ద డేటాసెట్‌లను అమర్చడానికి ప్రాధాన్యతనిచ్చే డేటాసెంటర్ వర్క్‌లోడ్‌లను అమలు చేయండి.
ఇది మీకు సరైన GPUనా?
మీ ప్రధాన అవసరం మెమరీ-ఆకలితో ఉన్న ఇన్ఫరెన్స్ లేదా డెవలప్‌మెంట్ పనుల కోసం 24 GB VRAM అయితే, మరియు పాత Pascal compute సరిపోతే Tesla P40 ను ఎంచుకోండి. భారీ శిక్షణ కోసం అధిక మెమరీ బ్యాండ్విడ్త్ లేదా ఆధునిక tensor acceleration అవసరమైతే కొత్త లేదా పెద్ద GPU ను ఎంచుకోండి, మీ వర్క్‌లోడ్ తక్కువ మెమరీ వాడితే చిన్న GPU ను ఎంచుకోండి.
సారూప్య GPUలతో పోల్చండి
తరచుగా అడిగే ప్రశ్నలు
Tesla P40 పెద్ద భాషా నమూనాలను నడపడానికి అనుకూలమా?
24 GB VRAM సామర్థ్యం వల్ల Tesla P40 Ollama వంటి టెంప్లేట్లను ఉపయోగించి మధ్యస్థ పరిమాణంలోని quantized భాషా నమూనాలను మెమరీలో ఉంచగలదు. అయితే, దాని మెమరీ బ్యాండ్విడ్త్ సుమారు 257 GB/s మాత్రమే మరియు ఇది పాత Pascal ఆర్కిటెక్చర్ను ఉపయోగిస్తుంది కాబట్టి, టోకెన్ ఉత్పత్తి కొత్త డేటాసెంటర్ GPUs కంటే నెమ్మదిగా ఉంటుంది.
compute capability 6.1 తో ఏ సాఫ్ట్‌వేర్ అనుకూలత ఆశించాలి?
Compute capability 6.1 సుమారు 9.4 TFLOPS వద్ద ప్రామాణిక single-precision వర్క్‌లోడ్‌లకు మద్దతు ఇస్తుంది, ఇది సాధారణ PyTorch/CUDA టెంప్లేట్‌లతో బాగా పనిచేస్తుంది. కొన్ని ఆధునిక మెషీన్ లెర్నింగ్ లైబ్రరీలు లేదా కొత్త హార్డ్‌వేర్ సూచనలు అవసరమయ్యే ఫీచర్లు Pascal ఆర్కిటెక్చర్‌పై పనిచేయకపోవచ్చు.
ONIE లో నా Tesla P40 ఇన్‌స్టెన్స్‌కు ఎలా కనెక్ట్ అయి సెటప్ చేయాలి?
PyTorch/CUDA, vLLM, Ollama, లేదా ComfyUI కోసం సిద్ధ టెంప్లేట్లను ఉపయోగించి ఇన్‌స్టెన్స్‌ను డిప్లాయ్ చేయవచ్చు. మీ టెర్మినల్ నుండి ఫైళ్లు మరియు కస్టమ్ ఎన్విరాన్‌మెంట్‌లను నిర్వహించడానికి డైరెక్ట్ SSH యాక్సెస్ చేర్చబడింది.
Tesla P40 అద్దె బిల్లింగ్ ఎలా పని చేస్తుంది?
ONIE లో ఇన్స్టెన్స్లు గంట వారీ బిల్లింగ్ను ఉపయోగిస్తాయి, దీని వల్ల మీ డేటాసెంటర్ GPU ఇన్స్టెన్స్ సక్రియంగా ఉన్న సమయానికి మాత్రమే చెల్లిస్తారు.
Tesla P40ను గంటల వారీగా అద్దెకు తీసుకోండి
ఖాతాను సృష్టించండి, కాన్ఫిగరేషన్‌ను ఎంచుకుని SSH ద్వారా కనెక్ట్ చేయండి. మీరు GPUను తొలగించినప్పుడు బిల్లింగ్ ఆగిపోతుంది.
Tesla P40ను అద్దెకు తీసుకోండి