ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ NVIDIA L4 GPU ਕਿਰਾਏ 'ਤੇ ਲਓ
NVIDIA L4 ਇੱਕ Ada Lovelace ਆਰਕੀਟੈਕਚਰ ਵਾਲਾ ਡੇਟਾਸੈਂਟਰ GPU ਹੈ, ਜਿਸ ਵਿੱਚ 22 GB VRAM ਅਤੇ 72 W ਪਾਵਰ ਸੀਮਾ ਹੈ। ਇਹ CUDA compute capability 8.9 ਦੇ ਨਾਲ ਲਗਭਗ 24.2 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਲਗਭਗ 221 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦਾ ਹੈ। ONIE 'ਤੇ ਇਸਨੂੰ ਪ੍ਰਤੀ-ਘੰਟਾ ਬਿਲਿੰਗ, ਪੂਰੀ SSH ਪਹੁੰਚ, ਅਤੇ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਨਾਲ ਕਿਰਾਏ 'ਤੇ ਲਓ।
ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
ਹਰ GPU ਲਈ VRAM
ਆਰਕੀਟੈਕਚਰ
ਕੰਪਿਊਟ ਸਮਰੱਥਾ
FP32 ਕੰਪਿਊਟ
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ
ਪਾਵਰ ਸੀਮਾ
ਇਹ ਮੁੱਲ ਇਸ ਵੇਲੇ ਸੂਚੀਬੱਧ ਮਸ਼ੀਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਵੱਲੋਂ ਦਿੱਤੇ ਗਏ ਹਨ; ਅਸਲ ਕਾਰਗੁਜ਼ਾਰੀ ਹਰ ਮਸ਼ੀਨ ਅਨੁਸਾਰ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ।
ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ
ਸਟਾਕ ਅਤੇ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਆਰਡਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਲਾਈਵ ਕੀਮਤਾਂ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ…
L4 ਕਿਸ ਲਈ ਵਧੀਆ ਹੈ
ਭਾਸ਼ਾ ਮਾਡਲ ਇਨਫਰੈਂਸ
ਪਹਿਲਾਂ ਤੋਂ ਸੰਰਚਿਤ vLLM ਜਾਂ Ollama ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ 22 GB VRAM ਬਫਰ ਵਿੱਚ ਕੁਆਂਟਾਈਜ਼ਡ ਜਾਂ ਛੋਟੇ ਤੋਂ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦੇ ਭਾਸ਼ਾ ਮਾਡਲ ਚਲਾਓ।
ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਵਰਕਫਲੋ
ComfyUI ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰੋ ਜੋ Ada Lovelace ਆਰਕੀਟੈਕਚਰ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 22 GB ਮੈਮਰੀ ਵਿੱਚ ਆਰਾਮ ਨਾਲ ਫਿੱਟ ਹੋਣ।
ਹਲਕੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ
ਉੱਚ-ਵਾਟੇਜ ਡੇਟਾਸੈਂਟਰ ਕਾਰਡ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ PyTorch/CUDA ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਅਤੇ ਅਡੈਪਟਰ ਟ੍ਰੇਨਿੰਗ ਜੌਬ ਚਲਾਓ।
ਬੈਚ ਮੀਡੀਆ ਅਤੇ ਵਿਜ਼ਨ
72 W ਰੇਟ ਕੀਤੇ ਡੇਟਾਸੈਂਟਰ GPU 'ਤੇ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਇਨਫਰੈਂਸ ਅਤੇ ਵੀਡੀਓ ਵਰਕਲੋਡ ਪ੍ਰੋਸੈਸ ਕਰੋ।
ਕੀ ਇਹ ਤੁਹਾਡੇ ਲਈ ਸਹੀ GPU ਹੈ?
ਇਨਫਰੈਂਸ ਜਾਂ ਦਰਮਿਆਨੇ ਟ੍ਰੇਨਿੰਗ ਵਰਕਲੋਡ ਲਈ 22 GB VRAM ਅਤੇ Ada Lovelace compute capability 8.9 ਦੀ ਲੋੜ ਹੋਵੇ ਤਾਂ L4 ਚੁਣੋ। ਜੇ ਤੁਹਾਡੇ ਮਾਡਲ 22 GB ਤੋਂ ਵੱਧ ਹਨ ਜਾਂ ਲਗਭਗ 221 GB/s ਤੋਂ ਵੱਧ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਵੱਡਾ ਡੇਟਾਸੈਂਟਰ GPU ਚੁਣੋ; ਜਿਨ੍ਹਾਂ ਬੁਨਿਆਦੀ ਡਿਵੈਲਪਮੈਂਟ ਕੰਮਾਂ ਨੂੰ ਘੱਟ ਮੈਮਰੀ ਚਾਹੀਦੀ ਹੈ, ਉਨ੍ਹਾਂ ਲਈ ਛੋਟਾ ਕਾਰਡ ਚੁਣੋ।
ਮਿਲਦੇ-ਜੁਲਦੇ GPU ਨਾਲ ਤੁਲਨਾ ਕਰੋ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ NVIDIA L4 LLM ਇਨਫਰੈਂਸ ਲਈ ਢੁਕਵਾਂ ਹੈ?
ਹਾਂ, 22 GB VRAM ਤੁਹਾਨੂੰ ਛੋਟੇ ਅਤੇ ਦਰਮਿਆਨੇ ਭਾਸ਼ਾ ਮਾਡਲ ਜਾਂ ਕੁਆਂਟਾਈਜ਼ਡ ਵੇਟ ਹੋਸਟ ਕਰਨ ਦੀ ਸਹੂਲਤ ਦਿੰਦੀ ਹੈ। ਤੁਸੀਂ ONIE 'ਤੇ vLLM ਜਾਂ Ollama ਟੈਂਪਲੇਟ ਲਾਂਚ ਕਰਕੇ ਤੁਰੰਤ ਮਾਡਲ ਸਰਵ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
L4 ਵੱਡੇ ਡੇਟਾਸੈਂਟਰ GPU ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰਦਾ ਹੈ?
L4 ਨੂੰ 72 W ਪਾਵਰ ਖਪਤ, ਲਗਭਗ 24.2 TFLOPS ਸਿੰਗਲ-ਪ੍ਰੀਸੀਜ਼ਨ ਕੰਪਿਊਟ ਅਤੇ ਲਗਭਗ 221 GB/s ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਨਾਲ ਕੁਸ਼ਲਤਾ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ। ਵੱਡੇ ਡੇਟਾਸੈਂਟਰ GPU ਭਾਰੀ ਟ੍ਰੇਨਿੰਗ ਲਈ ਵਧੇਰੇ VRAM ਅਤੇ ਉੱਚ ਮੈਮਰੀ ਬੈਂਡਵਿਡਥ ਦਿੰਦੇ ਹਨ, ਜਦੋਂ ਕਿ L4 ਕਿਫਾਇਤੀ ਇਨਫਰੈਂਸ ਅਤੇ ਹਲਕੇ ਵਰਕਲੋਡ 'ਤੇ ਧਿਆਨ ਦਿੰਦਾ ਹੈ।
ONIE 'ਤੇ L4 ਲਈ ਕਿਹੜੇ ਸੌਫਟਵੇਅਰ ਟੈਂਪਲੇਟ ਉਪਲਬਧ ਹਨ?
ਤੁਸੀਂ PyTorch/CUDA, vLLM, Ollama ਅਤੇ ComfyUI ਲਈ ਤਿਆਰ ਟੈਂਪਲੇਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ L4 ਤੈਨਾਤ ਕਰ ਸਕਦੇ ਹੋ। ਸਾਰੇ ਇੰਸਟੈਂਸ ਵਿੱਚ SSH ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਆਪਣੇ ਸੌਫਟਵੇਅਰ ਵਾਤਾਵਰਣ ਅਤੇ CUDA compute capability 8.9 ਵਰਕਫਲੋ ਨੂੰ ਆਪਣੇ ਅਨੁਸਾਰ ਬਦਲ ਸਕੋ।
L4 ਇੰਸਟੈਂਸਾਂ ਲਈ ਬਿਲਿੰਗ ਕਿਵੇਂ ਹੁੰਦੀ ਹੈ?
ONIE L4 ਇੰਸਟੈਂਸਾਂ ਲਈ ਪ੍ਰਤੀ-ਘੰਟਾ ਆਧਾਰ 'ਤੇ ਬਿਲ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡਾ ਇੰਸਟੈਂਸ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਛੋਟੇ ਪ੍ਰਯੋਗਾਂ ਅਤੇ ਚੱਲ ਰਹੇ ਇਨਫਰੈਂਸ ਕੰਮਾਂ, ਦੋਹਾਂ ਲਈ ਵਿਹਾਰਕ ਬਣਦਾ ਹੈ।
L4 ਨੂੰ ਘੰਟੇ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਿਰਾਏ ’ਤੇ ਲਓ
ਖਾਤਾ ਬਣਾਓ, ਸੰਰਚਨਾ ਚੁਣੋ ਅਤੇ SSH ਰਾਹੀਂ ਜੁੜੋ। GPU ਮਿਟਾਉਣ ’ਤੇ ਬਿਲਿੰਗ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
L4 ਕਿਰਾਏ ’ਤੇ ਲਓ