LLM ఇన్ఫరెన్స్
భాషా నమూనాలను సర్వ్ చేయడానికి మరియు పరీక్షించడానికి Open WebUIతో vLLM, SGLang లేదా Ollama.
AI, LLMలు మరియు రెండరింగ్ కోసం GPU క్లౌడ్
NVIDIA GPU సర్వర్‌లను గంటకు లేదా బిల్లింగ్ చక్రం ప్రకారం అద్దెకు తీసుకోండి. లైవ్ కాన్ఫిగరేషన్‌లు మరియు ధరలను పోల్చండి, సిద్ధంగా ఉన్న టెంప్లేట్‌తో ప్రారంభించి SSH లేదా బ్రౌజర్ టెర్మినల్ ద్వారా కనెక్ట్ అవ్వండి.
- ప్రస్తుత ధరలతో లైవ్ GPU ఇన్వెంటరీ
- PyTorch, LLM సర్వింగ్ మరియు ఇమేజ్ జనరేషన్ కోసం టెంప్లేట్‌లు
- బ్రౌజర్‌లో SSH మరియు టెర్మినల్ యాక్సెస్
ONIE GPU Cloud తో మీరు లైవ్ ఇన్వెంటరీ నుండి GPU సర్వర్‌ను అద్దెకు తీసుకుంటారు: GPU మోడల్, VRAM మరియు డిస్క్‌ను ఎంచుకోండి, PyTorch, vLLM, Ollama లేదా ComfyUI వంటి టెంప్లేట్‌తో ప్రారంభించి, ఆ తర్వాత SSH ద్వారా కనెక్ట్ చేయండి. గంటవారీ సర్వర్‌లకు మీ ఖాతా బ్యాలెన్స్ నుండి ఛార్జ్ చేయబడుతుంది, మరియు ఆగిపోయిన గంటవారీ సర్వర్‌కు దాని డిస్క్‌కు మాత్రమే బిల్ చేయబడుతుంది.
అందుబాటులో ఉన్న GPUలు మరియు ప్రస్తుత ధరలు
లైవ్ ఇన్వెంటరీ: లభ్యత మరియు ధరలు మార్కెట్‌తో పాటు మారతాయి. ఆర్డర్ చేసే ముందు కన్సోల్ తుది ధరను నిర్ధారిస్తుంది.
ప్రస్తుత ధరలను లోడ్ చేస్తోంది…
మీ వర్క్‌లోడ్‌కు సిద్ధంగా ఉన్న టెంప్లేట్‌లు
ఫైన్-ట్యూనింగ్
మీ స్వంత డేటాపై భాషా నమూనాలను ఫైన్-ట్యూన్ చేయడానికి Unsloth Studio.
ఇమేజ్ మరియు వీడియో జనరేషన్
Flux, SDXL మరియు వీడియో వర్క్‌ఫ్లోల కోసం ComfyUI.
PyTorch మరియు CUDA డెవలప్‌మెంట్
NVIDIA CUDAతో PyTorch మరియు Ubuntu 24.04 ఇమేజ్‌లు, SSH ద్వారా అందుబాటులో ఉంటాయి.
డెస్క్‌టాప్ లేదా పూర్తి VM
బ్రౌజర్‌లో Ubuntu డెస్క్‌టాప్, లేదా మీకు అవసరమైనప్పుడు పూర్తి KVM వర్చువల్ మెషీన్.
ప్రతి టెంప్లేట్ దాని కనీస CUDA వెర్షన్, VRAM మరియు డిస్క్‌ను జాబితా చేస్తుంది; దానికి అనుకూలమైన GPUలు మాత్రమే అందించబడతాయి.
GPUని ఎలా అద్దెకు తీసుకోవాలి
- 01
టెంప్లేట్ మరియు డిస్క్ పరిమాణాన్ని ఎంచుకోండి
- 02
లైవ్ ఇన్వెంటరీ నుండి అనుకూలమైన GPUని ఎంచుకోండి
- 03
ధరను నిర్ధారించి, మీ ఖాతా బ్యాలెన్స్ నుండి సర్వర్‌ను సృష్టించండి
- 04
SSH లేదా బ్రౌజర్ టెర్మినల్ ద్వారా కనెక్ట్ చేయండి
GPU బిల్లింగ్ ఎలా పనిచేస్తుంది
- గంటవారీ: సర్వర్ నడుస్తున్నప్పుడు GPUకి గంటకు ఛార్జ్ చేయబడుతుంది. ఆగిపోయిన గంటవారీ సర్వర్‌కు దాని డిస్క్‌కు మాత్రమే ఛార్జ్ చేయబడుతుంది.
- బిల్లింగ్ చక్రాలు: నెలవారీ, త్రైమాసిక, అర్ధ-వార్షిక లేదా వార్షికం; చెల్లించే ముందు ఏదైనా తగ్గింపు చూపబడుతుంది.
- డిస్క్ స్టోరేజ్‌కు GPU ధరతో పాటు GB చొప్పున ఛార్జ్ చేయబడుతుంది.
- ధరలు USDలో ఉంటాయి; ప్రస్తుత మారకపు రేటు ప్రకారం వాటిని VNDలో ప్రదర్శించవచ్చు.
తరచుగా అడిగే ప్రశ్నలు
అద్దెకు తీసుకున్న GPUలో నేను ఏమి నడపగలను?
GPU మెమరీలో సరిపోయే వర్క్‌లోడ్‌లు: LLM ఇన్ఫరెన్స్ మరియు ఫైన్-ట్యూనింగ్, ఇమేజ్ మరియు వీడియో జనరేషన్, రెండరింగ్ మరియు CUDA డెవలప్‌మెంట్. PyTorch, vLLM, SGLang, Ollama, Unsloth మరియు ComfyUI కోసం టెంప్లేట్‌లు సాఫ్ట్‌వేర్‌ను మీ కోసం ఇన్‌స్టాల్ చేస్తాయి.
GPU సర్వర్‌కు నేను ఎలా కనెక్ట్ అవ్వాలి?
మీ కీతో SSH ద్వారా, లేదా కన్సోల్ నుండి మీ బ్రౌజర్‌లోని టెర్మినల్ ద్వారా. డెస్క్‌టాప్ మరియు VM టెంప్లేట్‌లు గ్రాఫికల్ యాక్సెస్‌ను కూడా అందిస్తాయి.
ధర స్థిరంగా ఉంటుందా?
ధరలు లైవ్ GPU ఇన్వెంటరీ నుండి వస్తాయి మరియు మారవచ్చు. ఆర్డర్ చేయడానికి ముందు కన్సోల్ నిర్ధారించబడిన ధరను చూపుతుంది, మరియు మీ సర్వర్‌కు ఆ నిర్ధారించబడిన ధరకే బిల్ చేయబడుతుంది.
సర్వర్ ఆగిపోయినప్పుడు నేను ఏమి చెల్లిస్తాను?
గంటవారీ బిల్లింగ్‌లో, ఆగిపోయిన సర్వర్‌కు దాని డిస్క్‌కు మాత్రమే ఛార్జ్ చేయబడుతుంది. సర్వర్ డేటా అవసరం లేనప్పుడు దాన్ని తొలగించండి.
ఏ GPUలు అందుబాటులో ఉన్నాయి?
పైన ఉన్న పట్టికలో ప్రస్తుతం అందుబాటులో ఉన్న కాన్ఫిగరేషన్‌లు జాబితా చేయబడ్డాయి. స్టాక్‌లో ఉన్నప్పుడు 32 GB VRAM కలిగిన NVIDIA RTX 5090 కూడా ఇందులో ఉంటుంది. లభ్యత రోజంతా మారుతూ ఉంటుంది.