LLM ਇਨਫਰੈਂਸ
ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਅਤੇ ਟੈਸਟ ਕਰਨ ਲਈ Open WebUI ਨਾਲ vLLM, SGLang ਜਾਂ Ollama।
NVIDIA GPU ਸਰਵਰ ਘੰਟੇ ਜਾਂ ਬਿਲਿੰਗ ਚੱਕਰ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ 'ਤੇ ਲਓ। ਲਾਈਵ ਸੰਰਚਨਾਵਾਂ ਅਤੇ ਕੀਮਤਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ, ਤਿਆਰ ਟੈਮਪਲੇਟ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ SSH ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਟਰਮੀਨਲ ਰਾਹੀਂ ਜੁੜੋ।
ONIE GPU Cloud ਨਾਲ ਤੁਸੀਂ ਲਾਈਵ ਇਨਵੈਂਟਰੀ ਤੋਂ GPU ਸਰਵਰ ਕਿਰਾਏ 'ਤੇ ਲੈਂਦੇ ਹੋ: GPU ਮਾਡਲ, VRAM ਅਤੇ ਡਿਸਕ ਚੁਣੋ, PyTorch, vLLM, Ollama ਜਾਂ ComfyUI ਵਰਗੇ ਟੈਮਪਲੇਟ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ, ਫਿਰ SSH ਰਾਹੀਂ ਜੁੜੋ। ਘੰਟਾਵਾਰ ਸਰਵਰਾਂ ਦਾ ਚਾਰਜ ਤੁਹਾਡੇ ਖਾਤੇ ਦੇ ਬੈਲੈਂਸ ਤੋਂ ਲਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਬੰਦ ਕੀਤੇ ਘੰਟਾਵਾਰ ਸਰਵਰ ਤੋਂ ਸਿਰਫ਼ ਡਿਸਕ ਲਈ ਬਿਲ ਲਿਆ ਜਾਂਦਾ ਹੈ।
ਲਾਈਵ ਇਨਵੈਂਟਰੀ: ਉਪਲਬਧਤਾ ਅਤੇ ਕੀਮਤਾਂ ਬਾਜ਼ਾਰ ਦੇ ਨਾਲ ਬਦਲਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕੰਸੋਲ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ।
ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਅਤੇ ਟੈਸਟ ਕਰਨ ਲਈ Open WebUI ਨਾਲ vLLM, SGLang ਜਾਂ Ollama।
ਆਪਣੇ ਡੇਟਾ 'ਤੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ Unsloth Studio।
Flux, SDXL ਅਤੇ ਵੀਡੀਓ ਵਰਕਫਲੋ ਲਈ ComfyUI।
NVIDIA CUDA ਵਾਲੀਆਂ PyTorch ਅਤੇ Ubuntu 24.04 ਇਮੇਜਾਂ, SSH ਰਾਹੀਂ ਐਕਸੈਸ ਯੋਗ।
ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ Ubuntu ਡੈਸਕਟਾਪ, ਜਾਂ ਲੋੜ ਪੈਣ 'ਤੇ ਪੂਰੀ KVM ਵਰਚੁਅਲ ਮਸ਼ੀਨ।
ਹਰ ਟੈਮਪਲੇਟ ਆਪਣਾ ਘੱਟੋ-ਘੱਟ CUDA ਵਰਜ਼ਨ, VRAM ਅਤੇ ਡਿਸਕ ਦੱਸਦਾ ਹੈ; ਉਸ ਲਈ ਸਿਰਫ਼ ਅਨੁਕੂਲ GPU ਪੇਸ਼ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
ਉਹ ਕੰਮ ਜੋ GPU ਮੈਮਰੀ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦੇ ਹਨ: LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ, ਇਮੇਜ ਅਤੇ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ, ਰੈਂਡਰਿੰਗ ਅਤੇ CUDA ਡਿਵੈਲਪਮੈਂਟ। PyTorch, vLLM, SGLang, Ollama, Unsloth ਅਤੇ ComfyUI ਦੇ ਟੈਮਪਲੇਟ ਸਾਫਟਵੇਅਰ ਆਪਣੇ ਆਪ ਇੰਸਟਾਲ ਕਰਦੇ ਹਨ।
ਤੁਹਾਡੀ ਕੁੰਜੀ ਨਾਲ SSH ਰਾਹੀਂ, ਜਾਂ ਕੰਸੋਲ ਵਿੱਚੋਂ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਟਰਮੀਨਲ ਰਾਹੀਂ। ਡੈਸਕਟਾਪ ਅਤੇ VM ਟੈਮਪਲੇਟ ਗ੍ਰਾਫਿਕਲ ਐਕਸੈਸ ਵੀ ਦਿੰਦੇ ਹਨ।
ਕੀਮਤਾਂ ਲਾਈਵ GPU ਇਨਵੈਂਟਰੀ ਤੋਂ ਆਉਂਦੀਆਂ ਹਨ ਅਤੇ ਬਦਲ ਸਕਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕੰਸੋਲ ਪੁਸ਼ਟੀ ਕੀਤੀ ਕੀਮਤ ਦਿਖਾਉਂਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਸਰਵਰ ਦਾ ਚਾਰਜ ਉਸੇ ਪੁਸ਼ਟੀ ਕੀਤੀ ਕੀਮਤ 'ਤੇ ਲਿਆ ਜਾਂਦਾ ਹੈ।
ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਬਿਲਿੰਗ ਵਿੱਚ, ਬੰਦ ਕੀਤੇ ਸਰਵਰ ਤੋਂ ਸਿਰਫ਼ ਉਸਦੀ ਡਿਸਕ ਲਈ ਚਾਰਜ ਲਿਆ ਜਾਂਦਾ ਹੈ। ਜਦੋਂ ਤੁਹਾਨੂੰ ਉਸਦੇ ਡੇਟਾ ਦੀ ਲੋੜ ਨਾ ਰਹੇ, ਤਾਂ ਸਰਵਰ ਨੂੰ ਮਿਟਾ ਦਿਓ।
ਉੱਪਰ ਦਿੱਤੀ ਸਾਰਣੀ ਵਿੱਚ ਇਸ ਵੇਲੇ ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ ਸੂਚੀਬੱਧ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ 32 GB VRAM ਵਾਲਾ NVIDIA RTX 5090 ਵੀ ਸ਼ਾਮਲ ਹੈ ਜਦੋਂ ਉਹ ਸਟਾਕ ਵਿੱਚ ਹੋਵੇ। ਉਪਲਬਧਤਾ ਦਿਨ ਭਰ ਬਦਲਦੀ ਰਹਿੰਦੀ ਹੈ।