NVIDIA L40S GPU-ஐ மணிநேர அடிப்படையில் வாடகைக்கு எடுங்கள்
NVIDIA L40S என்பது Ada Lovelace தரவு மைய GPU ஆகும், இது ONIE இல் கிளவுட் வாடகைக்குக் கிடைக்கிறது. இது 45 GB VRAM, சுமார் 73.3 TFLOPS ஒற்றை-துல்லிய கணக்கீட்டுத் திறன் மற்றும் சுமார் 626 GB/s நினைவக அலைவரிசையை 350 W மின் வரம்பிற்குள் வழங்குகிறது. CUDA compute capability 8.9 ஐ ஆதரிக்கும் இந்த இன்ஸ்டன்ஸ், மணி நேர அடிப்படையிலான கட்டணத்துடன் கடினமான AI பயிற்சி, inference மற்றும் கிராபிக்ஸ் பணிச்சுமைகளைக் கையாளுகிறது.
விவரக்குறிப்புகள்
ஒரு GPU-க்கான VRAM
கட்டமைப்பு
Compute capability
FP32 கணினி திறன்
நினைவக அலைவரிசை
மின் வரம்பு
தற்போது பட்டியலிடப்பட்டுள்ள இயந்திரங்களுக்கு உள்கட்டமைப்பு வழங்குநர் அறிவித்த மதிப்புகள்; உண்மையான செயல்திறன் இயந்திரத்துக்கு இயந்திரம் மாறுபடும்.
கிடைக்கக்கூடிய கட்டமைப்புகள்
நேரடி இருப்பு மற்றும் விலைகள், தொடர்ந்து புதுப்பிக்கப்படுகின்றன. ஆர்டர் செய்வதற்கு முன் இறுதி விலை உறுதிப்படுத்தப்படும்.
நேரடி விலைகள் ஏற்றப்படுகின்றன…
L40S எதற்கு ஏற்றது
பெரிய மொழி மாதிரி Inference
vLLM மற்றும் Ollama போன்ற தயார் டெம்ப்ளேட்களைப் பயன்படுத்தி, 45 GB நினைவகத் திறனுக்குள் quantized அல்லது முழு-துல்லிய மொழி மாதிரிகளை வரிசைப்படுத்துங்கள்.
உருவாக்க படப் பணிப்பாய்வுகள்
Ada Lovelace கட்டமைப்பைப் பயன்படுத்தி ComfyUI-இல் சிக்கலான diffusion பைப்லைன்களையும் தொகுப்பு (batch) உருவாக்கப் பணிகளையும் இயக்குங்கள்.
ஆழ்ந்த கற்றல் Fine-Tuning
சுமார் 73.3 TFLOPS கணக்கீட்டுத் திறனைப் பயன்படுத்தி, PyTorch/CUDA சூழல்களில் நரம்பியல் வலைப்பின்னல்களையும் LoRA adapters-களையும் fine-tune செய்யுங்கள்.
தரவு மைய கிராபிக்ஸ் மற்றும் ரெண்டரிங்
சுமார் 626 GB/s நினைவக அலைவரிசையைக் கொண்ட தரவு மைய GPU-வின் பயனால் பயனடையும் headless rendering மற்றும் simulation பணிகளை இயக்குங்கள்.
இது உங்களுக்கு சரியான GPU-வா?
உங்கள் பணிச்சுமைக்கு 45 GB VRAM மற்றும் தரவு மைய நம்பகத்தன்மை தேவைப்படும்போது L40S-ஐத் தேர்ந்தெடுங்கள்; இது வழக்கமான நுகர்வோர் கார்டுகளைவிட ஒரு படி மேலானது. உங்கள் மாதிரிகள் குறைந்த நினைவகத்தில் பொருந்தினால், சிறிய workstation அல்லது நுகர்வோர் GPU மிகவும் சிக்கனமானது; அளவில் மிகப் பெரிய, quantize செய்யப்படாத foundation மாதிரிகளுக்கு அதிக நினைவகம் கொண்ட தரவு மைய GPU பொருத்தமானது.
இதே போன்ற GPU-க்களுடன் ஒப்பிடுக
அடிக்கடி கேட்கப்படும் கேள்விகள்
NVIDIA L40S LLM inference மற்றும் fine-tuning-க்கு ஏற்றதா?
ஆம், 45 GB VRAM மற்றும் CUDA compute capability 8.9 கொண்ட L40S, நடுத்தர முதல் பெரிய மொழி மாதிரிகளை வழங்குவதற்கும் parameter-efficient fine-tuning-க்கும் நன்கு பொருந்துகிறது. முன்கட்டமைக்கப்பட்ட vLLM, Ollama அல்லது PyTorch/CUDA டெம்ப்ளேட்களுடன் இன்ஸ்டன்ஸ்களைத் தொடங்கலாம்.
L40S வழக்கமான நுகர்வோர் GPU-க்களுடனும் பெரிய தரவு மைய GPU-க்களுடனும் எவ்வாறு ஒப்பிடுகிறது?
வழக்கமான நுகர்வோர் Ada Lovelace கார்டுகளைவிட L40S அதிக VRAM வழங்குவதால், offload இல்லாமல் பெரிய மாதிரி எடைகளை வைத்திருக்க முடியும். எனினும், அதிக நினைவகம் கொண்ட compute-மட்டும் தரவு மைய GPU-க்களுடன் ஒப்பிடும்போது L40S-இன் நினைவக அலைவரிசை குறைவு; நினைவக-சார்ந்த பெரிய பயிற்சிப் பணிகளுக்கு அவை விரும்பத்தக்கவை.
ONIE-இல் என் L40S இன்ஸ்டன்ஸை எவ்வாறு இணைத்து கட்டமைப்பது?
இன்ஸ்டன்ஸ் துவங்கியவுடன் உங்கள் சூழலுக்கு முழு SSH அணுகல் கிடைக்கும். PyTorch/CUDA, ComfyUI, vLLM மற்றும் Ollama உள்ளிட்ட தயார் டெம்ப்ளேட்களைத் தேர்ந்தெடுத்து உடனடியாக வேலையைத் தொடங்கலாம்.
L40S-க்கான கட்டண முறை எவ்வாறு செயல்படுகிறது?
ONIE அனைத்து L40S வாடகைகளுக்கும் மணி நேர அடிப்படையிலான கட்டணத்தை வசூலிக்கிறது. உங்கள் இன்ஸ்டன்ஸ் ஒதுக்கப்பட்டிருக்கும் நேரத்திற்கு மட்டுமே பணம் செலுத்துகிறீர்கள்.
L40S-ஐ மணி நேர அடிப்படையில் வாடகைக்கு எடுங்கள்
கணக்கை உருவாக்கவும், கட்டமைப்பைத் தேர்ந்தெடுத்து SSH மூலம் இணைக்கவும். GPU-வை நீக்கும்போது கட்டணம் நிறுத்தப்படும்.
L40S-ஐ வாடகைக்கு எடுக்கவும்