ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA L40S GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA L40S ਇੱਕ Ada Lovelace ਡੇਟਾਸੈਂਟਰ GPU ਹੈ ਜੋ ONIE 'ਤੇ ਕਲਾਉਡ ਕਿਰਾਏ ਲਈ ਉਪਲਬਧ ਹੈ। ਇਹ 350 W ਪਾਵਰ ਸੀਮਾ ਦੇ ਅੰਦਰ 45 GB VRAM, ਲਗਭਗ 73.3 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ, ਅਤੇ ਲਗਭਗ 626 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। CUDA compute capability 8.9 ਨੂੰ ਸਪੋਰਟ ਕਰਨ ਵਾਲਾ ਇਹ ਇੰਸਟੈਂਸ ਮੰਗ ਵਾਲੇ AI ਟ੍ਰੇਨਿੰਗ, ਇਨਫਰੈਂਸ ਅਤੇ ਗ੍ਰਾਫਿਕਸ ਵਰਕਲੋਡ ਸੰਭਾਲਦਾ ਹੈ, ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਨਾਲ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
L40S ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
Large Language Model ਇਨਫਰੈਂਸ
vLLM ਅਤੇ Ollama ਵਰਗੇ ਤਿਆਰ ਟੈਮਪਲੇਟਾਂ ਰਾਹੀਂ 45 GB ਮੈਮਰੀ ਸਮਰੱਥਾ ਅੰਦਰ ਕੁਆਂਟਾਈਜ਼ਡ ਜਾਂ ਪੂਰੀ-ਪ੍ਰੀਸੀਜ਼ਨ ਭਾਸ਼ਾ ਮਾਡਲ ਡਿਪਲੌਏ ਕਰੋ।
ਜਨਰੇਟਿਵ ਇਮੇਜ ਵਰਕਫਲੋ
Ada Lovelace ਆਰਕੀਟੈਕਚਰ ਦਾ ਲਾਭ ਲੈਂਦੇ ਹੋਏ ComfyUI ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਡਿਫਿਊਜ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਬੈਚ ਜਨਰੇਸ਼ਨ ਕਾਰਜ ਚਲਾਓ।
ਡੀਪ ਲਰਨਿੰਗ ਫਾਈਨ-ਟਿਊਨਿੰਗ
PyTorch/CUDA ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਲਗਭਗ 73.3 TFLOPS ਕੰਪਿਊਟ ਵਰਤ ਕੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਅਤੇ LoRA ਅਡਾਪਟਰ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ।
ਡੇਟਾਸੈਂਟਰ ਗ੍ਰਾਫਿਕਸ ਅਤੇ ਰੈਂਡਰਿੰਗ
ਲਗਭਗ 626 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਵਾਲੇ ਡੇਟਾਸੈਂਟਰ GPU ਦਾ ਲਾਭ ਲੈਣ ਵਾਲੇ ਹੈੱਡਲੈੱਸ ਰੈਂਡਰਿੰਗ ਅਤੇ ਸਿਮੂਲੇਸ਼ਨ ਕਾਰਜ ਚਲਾਓ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਜਦੋਂ ਤੁਹਾਡੇ ਵਰਕਲੋਡ ਨੂੰ 45 GB VRAM ਅਤੇ ਡੇਟਾਸੈਂਟਰ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਲੋੜ ਹੋਵੇ, ਤਾਂ L40S ਚੁਣੋ, ਜੋ ਆਮ ਖਪਤਕਾਰ ਕਾਰਡਾਂ ਤੋਂ ਅੱਗੇ ਦਾ ਵਿਕਲਪ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਮਾਡਲ ਘੱਟ ਮੈਮਰੀ ਵਿੱਚ ਫਿੱਟ ਹੋ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਛੋਟਾ ਵਰਕਸਟੇਸ਼ਨ ਜਾਂ ਖਪਤਕਾਰ GPU ਵਧੇਰੇ ਕਿਫਾਇਤੀ ਹੈ, ਜਦਕਿ ਬਿਨਾਂ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਵਾਲੇ ਵੱਡੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਵੱਡੀ ਮੈਮਰੀ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਬਿਹਤਰ ਹੈ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ NVIDIA L40S LLM ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, 45 GB VRAM ਅਤੇ CUDA compute capability 8.9 ਨਾਲ, L40S ਦਰਮਿਆਨੇ ਤੋਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਸੇਵਾ ਅਤੇ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਹੈ। ਤੁਸੀਂ ਪਹਿਲਾਂ ਤੋਂ ਕੌਂਫਿਗਰ ਕੀਤੇ vLLM, Ollama, ਜਾਂ PyTorch/CUDA ਟੈਮਪਲੇਟਾਂ ਨਾਲ ਇੰਸਟੈਂਸ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
L40S ਖਪਤਕਾਰ GPU ਜਾਂ ਵੱਡੇ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
L40S ਆਮ ਖਪਤਕਾਰ Ada Lovelace ਕਾਰਡਾਂ ਨਾਲੋਂ ਵੱਧ VRAM ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਬਿਨਾਂ ਆਫਲੋਡਿੰਗ ਦੇ ਵੱਡੇ ਮਾਡਲ ਵੇਟ ਰੱਖ ਸਕਦਾ ਹੈ। ਪਰ ਇਸ ਦੀ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਉਨ੍ਹਾਂ ਵੱਡੀ ਮੈਮਰੀ ਵਾਲੇ ਸਿਰਫ਼-ਕੰਪਿਊਟ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲੋਂ ਘੱਟ ਹੈ, ਜੋ ਵੱਡੇ ਮੈਮਰੀ-ਬਾਊਂਡ ਟ੍ਰੇਨਿੰਗ ਕਾਰਜਾਂ ਲਈ ਬਿਹਤਰ ਹਨ।
ONIE 'ਤੇ ਮੇਰੇ L40S ਇੰਸਟੈਂਸ ਨਾਲ ਕਿਵੇਂ ਜੁੜਾਂ ਅਤੇ ਇਸਨੂੰ ਕੌਂਫਿਗਰ ਕਰਾਂ?
ਇੰਸਟੈਂਸ ਬੂਟ ਹੋਣ ਦੇ ਤੁਰੰਤ ਬਾਅਦ ਤੁਹਾਨੂੰ ਆਪਣੇ ਵਾਤਾਵਰਣ ਤੱਕ ਪੂਰੀ SSH ਪਹੁੰਚ ਮਿਲ ਜਾਂਦੀ ਹੈ। ਤੁਸੀਂ PyTorch/CUDA, ComfyUI, vLLM, ਅਤੇ Ollama ਸਮੇਤ ਤਿਆਰ ਟੈਮਪਲੇਟ ਚੁਣ ਕੇ ਤੁਰੰਤ ਕੰਮ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
L40S ਲਈ ਬਿਲਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ONIE ਸਾਰੇ L40S ਕਿਰਾਇਆਂ ਲਈ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ ਵਰਤਦਾ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਓਨੇ ਸਮੇਂ ਦਾ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਿੰਨੀ ਦੇਰ ਤੁਹਾਡਾ ਇੰਸਟੈਂਸ ਅਲਾਟ ਰਹਿੰਦਾ ਹੈ।
L40S ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
L40S ਕਿਰਾਏ ’ਤੇ ਲਓ