ເຊົ່າ GPU NVIDIA H100 SXM ເປັນລາຍຊົ່ວໂມງ
NVIDIA H100 SXM ແມ່ນ GPU ສຳລັບ datacenter ໃນສະຖາປັດຕະຍະກຳ Hopper ມາພ້ອມ VRAM 80 GB ແລະ ການໃຊ້ພະລັງງານ 700 W. ມັນໃຫ້ປະສິດທິພາບການຄຳນວນ floating-point ມາດຕະຖານປະມານ 53.5 TFLOPS ແລະ ແບນວິດໜ່ວຍຄວາມຈຳປະມານ 2869 GB/s ຮອງຮັບ CUDA compute capability 9.0. ເຊົ່າໃຊ້ໃນ ONIE ດ້ວຍການເກັບເງິນເປັນລາຍຊົ່ວໂມງ, ການເຂົ້າເຖິງ SSH ເຕັມຮູບແບບ, ແລະ template ທີ່ພ້ອມໃຊ້ສຳລັບ PyTorch/CUDA, vLLM, Ollama, ແລະ ComfyUI.
ຂໍ້ມູນຈຳເພາະ
VRAM ຕໍ່ GPU
ສະຖາປັດຕະຍະກຳ
ຄວາມສາມາດໃນການຄຳນວນ (Compute capability)
ການຄຳນວນ FP32
ແບນວິດໜ່ວຍຄວາມຈຳ
ຂີດຈຳກັດພະລັງງານ
ຄ່າທີ່ຜູ້ໃຫ້ບໍລິການໂຄງສ້າງພື້ນຖານລາຍງານສຳລັບເຄື່ອງທີ່ແສດງຢູ່ໃນປັດຈຸບັນ; ປະສິດທິພາບຕົວຈິງອາດແຕກຕ່າງກັນໄປຕາມແຕ່ລະເຄື່ອງ.
ການຕັ້ງຄ່າທີ່ມີໃຫ້ບໍລິການ
ສະຕັອກ ແລະ ລາຄາອັບເດດແບບສົດຢ່າງຕໍ່ເນື່ອງ. ລາຄາສຸດທ້າຍຈະຖືກຢືນຢັນກ່ອນທ່ານສັ່ງຊື້.
ກຳລັງໂຫຼດລາຄາແບບສົດ…
H100 SXM ເໝາະສຳລັບຫຍັງ
ການອະນຸມານ Large Language Model
ນຳໂມເດວພາສາຂະໜາດໃຫຍ່ເຂົ້າສູ່ການໃຊ້ງານຈິງ ໂດຍໃຊ້ຄວາມຈຸ VRAM 80 GB ແລະ ແບນວິດໜ່ວຍຄວາມຈຳປະມານ 2869 GB/s ຜ່ານ template vLLM ຫຼື Ollama.
ການ Fine-Tuning ດ້ານ Deep Learning
ຝຶກ ແລະ fine-tune ໂຄງຂ່າຍປະສາດເທິມ ໂດຍໃຊ້ສະຖາປັດຕະຍະກຳ Hopper ແລະ CUDA compute capability 9.0 ພ້ອມສະພາບແວດລ້ອມ PyTorch/CUDA ທີ່ຕັ້ງຄ່າໄວ້ລ່ວງໜ້າ.
ການປະມວນຜົນ Batch ປະສິດທິພາບສູງ
ຮັນວຽກງານປະມວນຜົນຂໍ້ມູນ ແລະ simulation ທີ່ຕ້ອງການການຄຳນວນສູງ ທີ່ໄດ້ປະໂຫຍດຈາກປະສິດທິພາບປະມານ 53.5 TFLOPS ໃນຮູບແບບ datacenter 700 W.
ວຽກສ້າງສື່ Generative ທີ່ຕ້ອງການຊັບພະຍາກອນສູງ
ຮັນ pipeline ComfyUI ທີ່ຊັບຊ້ອນ ແລະ diffusion model ດ້ວຍ batch size ໃຫຍ່ ທີ່ພໍດີກັບໜ່ວຍຄວາມຈຳ 80 GB.
ນີ້ເປັນ GPU ທີ່ເໝາະສົມກັບທ່ານບໍ?
ເລືອກ H100 SXM ເມື່ອວຽກງານ training ຫຼື inference ຂອງທ່ານຕ້ອງການໜ່ວຍຄວາມຈຳ datacenter ແບນວິດສູງ 80 GB ແລະ ຄຸນສົມບັດສະຖາປັດຕະຍະກຳ Hopper. ເຄື່ອງ workstation ຂະໜາດນ້ອຍ ຫຼື GPU ສຳລັບຜູ້ບໍລິໂພກ ເໝາະກວ່າສຳລັບການພັດທະນາເບົາໆ ຫຼື ໂມເດວຂະໜາດນ້ອຍ, ໃນຂະນະທີ່ GPU datacenter ທີ່ໃໝ່ກວ່າ ຫຼື ມີຄວາມຈຸສູງກວ່າ ເໝາະກວ່າ ຫາກ instance ດຽວບໍ່ສາມາດບັນຈຸໂມເດວທັງໝົດໃນ VRAM 80 GB ໄດ້.
ປຽບທຽບກັບ GPU ທີ່ຄ້າຍກັນ
ຄຳຖາມທີ່ພົບເລື້ອຍ
H100 SXM ເໝາະສຳລັບການ fine-tune ແລະ ການອະນຸມານ LLM ບໍ?
ເໝາະ, ຄວາມຈຸ VRAM 80 GB ແລະ ແບນວິດໜ່ວຍຄວາມຈຳປະມານ 2869 GB/s ເຮັດໃຫ້ມັນເໝາະສົມທັງການໃຫ້ບໍລິການ ແລະ fine-tune ໂມເດວພາສາຂະໜາດໃຫຍ່. ທ່ານສາມາດເລີ່ມໃຊ້ງານໄດ້ທັນທີໃນ ONIE ດ້ວຍ template ທີ່ພ້ອມໃຊ້ສຳລັບ vLLM, Ollama, ຫຼື PyTorch/CUDA.
SXM ແຕກຕ່າງຈາກ GPU datacenter ຫຼື workstation ທີ່ໃຊ້ພະລັງງານຕ່ຳກວ່າແນວໃດ?
H100 SXM ໃຊ້ TDP 700 W ເຊິ່ງເຮັດໃຫ້ມັນສາມາດຮັກສາປະສິດທິພາບການຄຳນວນ ແລະ ແບນວິດໜ່ວຍຄວາມຈຳໃຫ້ສູງກວ່າ PCIe datacenter ຫຼື workstation card. ຫາກວຽກງານຂອງທ່ານບໍ່ໃຊ້ປະສິດທິພາບການຄຳນວນປະມານ 53.5 TFLOPS ຫຼື ໜ່ວຍຄວາມຈຳ 80 GB ເຕັມທີ່, GPU ຂະໜາດນ້ອຍກວ່າອາດພຽງພໍ.
CUDA compute capability 9.0 ໃຫ້ຄວາມເຂົ້າກັນໄດ້ກັບຊອບແວໃດແດ່?
Compute capability 9.0 ໝາຍເຖິງການຮອງຮັບຄຳສັ່ງ ແລະ ຄຸນສົມບັດຂອງສະຖາປັດຕະຍະກຳ NVIDIA Hopper ໃນຮາດແວ. template PyTorch/CUDA ທີ່ຕັ້ງຄ່າໄວ້ລ່ວງໜ້າຂອງພວກເຮົາ ພ້ອມໃຊ້ຮາດແວນີ້ໂດຍບໍ່ຕ້ອງຕິດຕັ້ງ driver ດ້ວຍຕົນເອງ.
ການເກັບເງິນ ແລະ ການເຂົ້າເຖິງ instance ໃນ ONIE ເຮັດວຽກແນວໃດ?
Instance ຖືກເກັບເງິນເປັນລາຍຊົ່ວໂມງຕາມໄລຍະເວລາທີ່ທ່ານເຊົ່າ. ເມື່ອ deploy ແລ້ວ ທ່ານສາມາດເຊື່ອມຕໍ່ໂດຍກົງກັບສະພາບແວດລ້ອມຂອງທ່ານຜ່ານ SSH ຫຼື ໃຊ້ເຄື່ອງມືທີ່ຕິດຕັ້ງໄວ້ລ່ວງໜ້າ ເຊັ່ນ ComfyUI.
ເຊົ່າ H100 SXM ເປັນຊົ່ວໂມງ
ສ້າງບັນຊີ, ເລືອກການຕັ້ງຄ່າ ແລະ ເຊື່ອມຕໍ່ຜ່ານ SSH. ການຄິດໄລ່ຄ່າບໍລິການຈະຢຸດເມື່ອທ່ານລຶບ GPU.
ເຊົ່າ H100 SXM