ເຊົ່າ GPU NVIDIA L4 ເປັນລາຍຊົ່ວໂມງ
NVIDIA L4 ເປັນ GPU datacenter ໃນສະຖາປັດຕະຍະກຳ Ada Lovelace ທີ່ມີ VRAM 22 GB ແລະ ກຳລັງໄຟ 72 W. ມັນໃຫ້ປະສິດທິພາບ floating-point ແບບ single-precision ປະມານ 24.2 TFLOPS ແລະ ແບນວິດໜ່ວຍຄວາມຈຳປະມານ 221 GB/s ພ້ອມ CUDA compute capability 8.9. ເຊົ່າໃຊ້ມັນໄດ້ທີ່ ONIE ດ້ວຍການຄິດຄ່າບໍລິການເປັນລາຍຊົ່ວໂມງ, ການເຂົ້າເຖິງ SSH ເຕັມຮູບແບບ, ແລະ template ທີ່ພ້ອມໃຊ້ສຳລັບ PyTorch/CUDA, vLLM, Ollama ແລະ ComfyUI.
ຂໍ້ມູນຈຳເພາະ
VRAM ຕໍ່ GPU
ສະຖາປັດຕະຍະກຳ
ຄວາມສາມາດໃນການຄຳນວນ (Compute capability)
ການຄຳນວນ FP32
ແບນວິດໜ່ວຍຄວາມຈຳ
ຂີດຈຳກັດພະລັງງານ
ຄ່າທີ່ຜູ້ໃຫ້ບໍລິການໂຄງສ້າງພື້ນຖານລາຍງານສຳລັບເຄື່ອງທີ່ແສດງຢູ່ໃນປັດຈຸບັນ; ປະສິດທິພາບຕົວຈິງອາດແຕກຕ່າງກັນໄປຕາມແຕ່ລະເຄື່ອງ.
ການຕັ້ງຄ່າທີ່ມີໃຫ້ບໍລິການ
ສະຕັອກ ແລະ ລາຄາອັບເດດແບບສົດຢ່າງຕໍ່ເນື່ອງ. ລາຄາສຸດທ້າຍຈະຖືກຢືນຢັນກ່ອນທ່ານສັ່ງຊື້.
ກຳລັງໂຫຼດລາຄາແບບສົດ…
L4 ເໝາະສຳລັບຫຍັງ
ການ Inference ໂມເດວພາສາ
ລັນໂມເດວພາສາແບບ quantized ຫຼື ຂະໜາດນ້ອຍ-ກາງ ໃນ VRAM 22 GB ໂດຍໃຊ້ template vLLM ຫຼື Ollama ທີ່ຕັ້ງຄ່າໄວ້ລ່ວງໜ້າ.
ຂັ້ນຕອນການສ້າງຮູບພາບ
ນຳໃຊ້ pipeline ComfyUI ທີ່ເໝາະສົມກັບໜ່ວຍຄວາມຈຳ 22 GB ໄດ້ຢ່າງສະບາຍ ໂດຍໃຊ້ຄຸນສົມບັດຂອງສະຖາປັດຕະຍະກຳ Ada Lovelace.
ການ Fine-Tuning ແບບເບົາ
ດຳເນີນການ fine-tuning ແບບປະຢັດພາຣາມິເຕີ ແລະ ງານເທຣນ adapter ໃນສະພາບແວດລ້ອມ PyTorch/CUDA ໂດຍບໍ່ຕ້ອງໃຊ້ກາດ datacenter ທີ່ກິນໄຟສູງ.
ການປະມວນຜົນສື່ ແລະ ວິໄສທັດແບບ Batch
ປະມວນຜົນງານ inference ດ້ານ computer vision ແລະ ວິດີໂອ ໃນ GPU datacenter ທີ່ມີກຳລັງໄຟ 72 W.
ນີ້ເປັນ GPU ທີ່ເໝາະສົມກັບທ່ານບໍ?
ເລືອກ L4 ເມື່ອທ່ານຕ້ອງການ VRAM 22 GB ແລະ Ada Lovelace compute capability 8.9 ສຳລັບງານ inference ຫຼື ງານເທຣນລະດັບປານກາງ. ໃຫ້ຍ້າຍໄປໃຊ້ GPU datacenter ທີ່ໃຫຍ່ກວ່າ ຖ້າໂມເດວຂອງທ່ານເກີນ 22 GB ຫຼື ຕ້ອງການແບນວິດໜ່ວຍຄວາມຈຳສູງກວ່າປະມານ 221 GB/s ຫຼື ເລືອກກາດທີ່ນ້ອຍກວ່າ ສຳລັບງານພັດທະນາພື້ນຖານທີ່ໃຊ້ໜ່ວຍຄວາມຈຳໜ້ອຍກວ່າ.
ປຽບທຽບກັບ GPU ທີ່ຄ້າຍກັນ
ຄຳຖາມທີ່ພົບເລື້ອຍ
NVIDIA L4 ເໝາະສົມກັບການ inference LLM ບໍ?
ໄດ້, VRAM 22 GB ເຮັດໃຫ້ທ່ານສາມາດໂຮດໂມເດວພາສາຂະໜາດນ້ອຍ-ກາງ ຫຼື ນ້ຳໜັກແບບ quantized ໄດ້. ທ່ານສາມາດເປີດ template vLLM ຫຼື Ollama ທີ່ ONIE ເພື່ອເລີ່ມໃຫ້ບໍລິການໂມເດວໄດ້ທັນທີ.
L4 ປຽບທຽບກັບ GPU datacenter ທີ່ໃຫຍ່ກວ່າແນວໃດ?
L4 ຖືກອອກແບບເພື່ອປະສິດທິພາບດ້ານພະລັງງານ ດ້ວຍການໃຊ້ໄຟ 72 W, ປະສິດທິພາບການຄຳນວນ single-precision ປະມານ 24.2 TFLOPS ແລະ ແບນວິດໜ່ວຍຄວາມຈຳປະມານ 221 GB/s. GPU datacenter ທີ່ໃຫຍ່ກວ່າໃຫ້ VRAM ແລະ ແບນວິດໜ່ວຍຄວາມຈຳສູງກວ່າ ສຳລັບການເທຣນທີ່ໜັກ ໃນຂະນະທີ່ L4 ເນັ້ນການ inference ທີ່ຄຸ້ມຄ່າ ແລະ ງານທີ່ເບົາ.
ມີ template ຊອບແວຫຍັງບ້າງສຳລັບ L4 ທີ່ ONIE?
ທ່ານສາມາດນຳໃຊ້ L4 ດ້ວຍ template ທີ່ພ້ອມໃຊ້ສຳລັບ PyTorch/CUDA, vLLM, Ollama ແລະ ComfyUI. ທຸກ instance ມີການເຂົ້າເຖິງ SSH ເພື່ອໃຫ້ທ່ານປັບແຕ່ງສະພາບແວດລ້ອມຊອບແວ ແລະ ເວີກໂຟລວ໌ CUDA compute capability 8.9 ໄດ້.
ການຄິດໄລ່ຄ່າບໍລິການສຳລັບ L4 instance ເຮັດວຽກແນວໃດ?
ONIE ຄິດຄ່າບໍລິການ L4 instance ເປັນລາຍຊົ່ວໂມງ. ທ່ານຈ່າຍສະເພາະເວລາທີ່ instance ຂອງທ່ານເປີດໃຊ້ງານຢູ່ ເຊິ່ງເໝາະທັງສຳລັບການທົດລອງສັ້ນໆ ແລະ ງານ inference ທີ່ດຳເນີນຢ່າງຕໍ່ເນື່ອງ.
ເຊົ່າ L4 ເປັນຊົ່ວໂມງ
ສ້າງບັນຊີ, ເລືອກການຕັ້ງຄ່າ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH. ການຄິດໄລ່ຄ່າບໍລິການຈະຢຸດເມື່ອທ່ານລຶບ GPU.
ເຊົ່າ L4