NVIDIA L4 GPU-ын сағат бойынша жалға алыңыз
NVIDIA L4 — Ada Lovelace архитектурасына негізделген дата-орталық GPU, 22 GB VRAM және 72 W қуат шегі бар. Бір дәлдіктегі қалқымалы нүктелі өнімділігі шамамен 24.2 TFLOPS, жад өткізу қабілеттілігі шамамен 221 GB/s, ал CUDA есептеу мүмкіндігі 8.9. ONIE платформасында сағаттық төлеммен, толық SSH қолжетімділігімен және PyTorch/CUDA, vLLM, Ollama және ComfyUI үшін дайын үлгілермен жалдаңыз.
Сипаттамалары
Әр GPU-ның VRAM-ы
Архитектура
Есептеу мүмкіндігі
FP32 есептеу
Жад өткізу қабілеті
Қуат шегі
Қазіргі тізімдегі машиналар үшін инфрақұрылым провайдері берген мәндер; нақты өнімділік машинаға қарай өзгереді.
Қолжетімді конфигурациялар
Қоймадағы қор мен бағалар үнемі жаңартылып отырады. Соңғы баға тапсырыс берер алдында расталады.
Нақты бағалар жүктелуде…
L4 неге жарайды
Тіл моделдерінің инференсі
Квантталған немесе шағын және орташа тілдік модельдерді 22 GB VRAM буферінде алдын ала конфигурацияланған vLLM немесе Ollama үлгілері арқылы іске қосыңыз.
Кескін генерациялау жұмыс ағындары
22 GB жадқа ыңғайлы сыятын ComfyUI құбырларын орналастырыңыз және Ada Lovelace архитектурасының мүмкіндіктерін пайдаланыңыз.
Жеңіл дәл баптау
Жоғары қуатты дата-орталық картасын қажет етпей, PyTorch/CUDA ортасында параметрлік-тиімді дәл баптау және адаптерлерді оқыту тапсырмаларын орындаңыз.
Пакеттік медиа және көру
72 W қуатқа есептелген дата-орталық GPU-да компьютерлік көру инференсін және бейне жұмыс жүктемелерін өңдеңіз.
Бұл сіз үшін дұрыс GPU ма?
Инференс немесе орташа оқыту жұмыс жүктемелері үшін 22 GB VRAM және Ada Lovelace есептеу мүмкіндігі 8.9 қажет болғанда L4 таңдаңыз. Модельдеріңіз 22 GB-тан асып кетсе немесе шамамен 221 GB/s-тан жоғары жад өткізу қабілеттілігін талап етсе, үлкенірек дата-орталық GPU-ға көшіңіз. Ал жадты аз қажет ететін негізгі әзірлеу тапсырмалары үшін кішірек картаны таңдаңыз.
Ұқсас GPU-лармен салыстыру
Жиі қойылатын сұрақтар
NVIDIA L4 LLM инференсіне жарай ма?
Иә, 22 GB VRAM шағын және орташа тілдік модельдерді немесе квантталған салмақтарды орналастыруға мүмкіндік береді. Модельдерге бірден қызмет көрсете бастау үшін ONIE платформасында vLLM немесе Ollama үлгілерін іске қосуыңызға болады.
L4 үлкенірек дата-орталық GPU-лармен салыстырғанда қалай?
L4 72 W қуат тұтынуы, шамамен 24.2 TFLOPS бір дәлдіктегі есептеу өнімділігі және шамамен 221 GB/s жад өткізу қабілеттілігімен тиімділікке бағытталған. Үлкенірек дата-орталық GPU-лар ауыр оқыту үшін көбірек VRAM және жоғары жад өткізу қабілеттілігін ұсынады, ал L4 үнемді инференске және жеңіл жұмыс жүктемелеріне арналған.
ONIE платформасында L4 үшін қандай бағдарламалық үлгілер бар?
L4-ті PyTorch/CUDA, vLLM, Ollama және ComfyUI үшін дайын үлгілерді пайдаланып орналастыруға болады. Барлық даналарда SSH қолжетімділігі бар, сондықтан бағдарламалық ортаңызды және CUDA есептеу мүмкіндігі 8.9 бар жұмыс ағындарын өз қалауыңызша баптай аласыз.
L4 даналары үшін төлем қалай жұмыс істейді?
ONIE L4 даналарын сағаттық негізде есептейді. Тек даналарыңыз белсенді болған уақыт үшін төлейсіз, бұл қысқа эксперименттер де, үздіксіз инференс тапсырмалары да үшін ыңғайлы.
L4 сағаттық жалға алыңыз
Аккаунт жасаңыз, конфигурацияны таңдаңыз және SSH арқылы қосылыңыз. GPU-ды жойғанда есептеу тоқтайды.
L4 жалға алу