గంటకు NVIDIA H200 NVL GPUని అద్దెకు తీసుకోండి
NVIDIA H200 NVL అనేది మెమరీ-ఇంటెన్సివ్ వర్క్‌లోడ్‌ల కోసం రూపొందించిన Hopper ఆర్కిటెక్చర్ డేటాసెంటర్ GPU. ఇది 140 GB VRAM మరియు సుమారు 3884 GB/s మెమరీ బ్యాండ్విడ్త్ను అందిస్తుంది. ఇది 600 W పవర్ ఎన్వలప్‌తో పనిచేస్తుంది, compute capability 9.0కు మద్దతు ఇస్తుంది మరియు సుమారు 48.3 TFLOPS ప్రామాణిక ఫ్లోటింగ్-పాయింట్ కంప్యూట్‌ను అందిస్తుంది. మీరు ఈ ప్రాసెసర్‌ను ONIEపై గంటవారీ బిల్లింగ్, డైరెక్ట్ SSH యాక్సెస్ మరియు రెడీ టెంప్లేట్లతో డిప్లాయ్ చేయవచ్చు.
స్పెసిఫికేషన్‌లు
GPUకి VRAM
ఆర్కిటెక్చర్
కంప్యూట్ సామర్థ్యం
FP32 కంప్యూట్
మెమరీ బ్యాండ్విడ్త్
పవర్ పరిమితి
ప్రస్తుతం జాబితాలో ఉన్న యంత్రాల కోసం ఇన్‌ఫ్రాస్ట్రక్చర్ ప్రొవైడర్ నివేదించిన విలువలు; వాస్తవ పనితీరు యంత్రాన్ని బట్టి మారుతుంది.
అందుబాటులో ఉన్న కాన్ఫిగరేషన్‌లు
ప్రత్యక్ష స్టాక్ మరియు ధరలు, నిరంతరం నవీకరించబడతాయి. ఆర్డర్ చేయడానికి ముందు తుది ధర నిర్ధారించబడుతుంది.
ప్రత్యక్ష ధరలు లోడ్ అవుతున్నాయి…
H200 NVL దేనికి ఉపయోగపడుతుంది
LLM ఇన్ఫరెన్స్
140 GB VRAM సామర్థ్యం మరియు సుమారు 3884 GB/s మెమరీ బ్యాండ్విడ్త్ను ఉపయోగించుకుంటూ, షార్డింగ్ లేకుండా పెద్ద మోడళ్లను మెమరీలోనే రన్ చేయండి.
మోడల్ ఫైన్-ట్యూనింగ్ మరియు ట్రైనింగ్
Hopper compute capability 9.0 మరియు పెద్ద బ్యాచ్ సైజులకు సరిపడే విశాలమైన GPU మెమరీని ఉపయోగించి డీప్ లెర్నింగ్ మోడళ్లను ట్రైన్ చేయండి మరియు అడాప్ట్ చేయండి.
హై-త్రూపుట్ బ్యాచ్ ప్రాసెసింగ్
ముందే కాన్ఫిగర్ చేసిన PyTorch/CUDA, vLLM లేదా Ollama టెంప్లేట్లను ఉపయోగించి భారీ డేటాసెట్‌లు మరియు దీర్ఘ context విండోలను సమర్థవంతంగా ప్రాసెస్ చేయండి.
సైంటిఫిక్ కంప్యూటింగ్ మరియు సిమ్యులేషన్
సుమారు 48.3 TFLOPS ప్రామాణిక ఫ్లోటింగ్-పాయింట్ పనితీరు మరియు గణనీయమైన ఆన్‌బోర్డ్ మెమరీ అవసరమయ్యే సంక్లిష్ట డేటాసెంటర్ సిమ్యులేషన్‌లను అమలు చేయండి.
ఇది మీకు సరైన GPUనా?
మీ ప్రధాన అడ్డంకి VRAM సామర్థ్యం మరియు మెమరీ బ్యాండ్విడ్త్ అయినప్పుడు, ముఖ్యంగా ఒకే కార్డ్‌పై పెద్ద మోడళ్లను హోస్ట్ చేయడానికి H200 NVLను ఎంచుకోండి. మీరు తేలికపాటి ఇన్ఫరెన్స్, సాధారణ ఇమేజ్ జనరేషన్ లేదా 140 GB మెమరీ అవసరం లేని డెవలప్‌మెంట్ పనులు చేస్తుంటే, చిన్న వర్క్‌స్టేషన్ లేదా కన్స్యూమర్ GPU మరింత ప్రాక్టికల్ ఎంపిక.
సారూప్య GPUలతో పోల్చండి
తరచుగా అడిగే ప్రశ్నలు
స్టాండర్డ్ Hopper GPUకి బదులుగా H200 NVLను ఎందుకు ఎంచుకోవాలి?
H200 NVL 140 GB VRAM మరియు సుమారు 3884 GB/s మెమరీ బ్యాండ్విడ్త్ను అందిస్తుంది, ఇది మునుపటి Hopper తరం కార్డ్ల మెమరీ సామర్థ్యం మరియు బ్యాండ్విడ్త్ కంటే ఎక్కువ. దీని వల్ల పెద్ద మోడళ్లు మరియు context విండోలు ఒకే GPUపై సరిపోతాయి.
vLLM లేదా Ollamaతో LLM సర్వింగ్కు H200 NVL సరిపోతుందా?
అవును, 140 GB మెమరీ పూల్ మరియు అధిక మెమరీ బ్యాండ్విడ్త్ వల్ల ఇది పెద్ద భాషా మోడళ్లను సర్వ్ చేయడానికి బాగా సరిపోతుంది. త్వరగా ప్రారంభించడానికి ONIE vLLM మరియు Ollama రెండింటికీ రెడీ టెంప్లేట్లను అందిస్తుంది.
ఏ సాఫ్ట్వేర్ ఎన్విరాన్మెంట్లు మరియు యాక్సెస్ పద్ధతులు అందుబాటులో ఉన్నాయి?
ప్రతి ఇన్స్టాన్స్లో కస్టమ్ కాన్ఫిగరేషన్ కోసం పూర్తి SSH యాక్సెస్ ఉంటుంది. PyTorch/CUDA, vLLM, Ollama మరియు ComfyUIతో సహా ముందే ఇన్స్టాల్ చేసిన టెంప్లేట్లతో కూడా ఇన్స్టాన్స్లను లాంచ్ చేయవచ్చు.
ONIEపై H200 NVL బిల్లింగ్ ఎలా పనిచేస్తుంది?
ఇన్స్టాన్స్లు గంటవారీగా బిల్ చేయబడతాయి. మీ H200 NVL ఇన్స్టాన్స్ యాక్టివ్గా ఉన్న సమయానికి మాత్రమే మీరు చెల్లిస్తారు.
H200 NVLను గంటల వారీగా అద్దెకు తీసుకోండి
ఖాతాను సృష్టించండి, కాన్ఫిగరేషన్‌ను ఎంచుకుని SSH ద్వారా కనెక్ట్ చేయండి. మీరు GPUను తొలగించినప్పుడు బిల్లింగ్ ఆగిపోతుంది.
H200 NVLను అద్దెకు తీసుకోండి