နာရီလိုက် NVIDIA H200 NVL GPU ငှားရမ်းပါ
NVIDIA H200 NVL သည် မေမိုရီအများအပြား လိုအပ်သော အလုပ်ဝန်ဆောင်မှုများအတွက် ရည်ရွယ်တည်ဆောက်ထားသော Hopper ဗိသုကာ ဒေတာစင်တာ GPU ဖြစ်ပြီး VRAM 140 GB နှင့် မေမိုရီ bandwidth ခန့်မှန်းခြေ 3884 GB/s ပါဝင်ပါသည်။ ၎င်းသည် 600 W ပါဝါအကျယ်အဝန်းဖြင့် လည်ပတ်ပြီး compute capability 9.0 ကို ပံ့ပိုးကာ စံ floating-point compute ခန့်မှန်းခြေ 48.3 TFLOPS ကို ပေးစွမ်းပါသည်။ ONIE ပေါ်တွင် တစ်နာရီလျှင်ငွေတောင်းခံမှု၊ တိုက်ရိုက် SSH ဝင်ရောက်ခွင့်နှင့် အဆင်သင့် template များဖြင့် ဤ processor ကို deploy လုပ်နိုင်ပါသည်။
သတ်မှတ်ချက်များ
GPU တစ်ခုလျှင် VRAM
Architecture
Compute capability
FP32 ကွန်ပျူတ်
Memory bandwidth
ပါဝါ ကန့်သတ်ချက်
ယခု စာရင်းပါ စက်များအတွက် အခြေခံအဆောက်အအုံ ပံ့ပိုးသူက တင်ပြထားသော တန်ဖိုးများ ဖြစ်ပါသည်။ စက်တစ်လုံးချင်းစီအလိုက် တကယ့်စွမ်းဆောင်ရည် ကွာခြားနိုင်ပါသည်။
ရရှိနိုင်သော ဖွဲ့စည်းပုံများ
လက်ရှိ ကုန်ပစ္စည်းနှင့် ဈေးနှုန်းများကို အမြဲတမ်း အသစ်ပြောင်းလဲပေးထားပါသည်။ နောက်ဆုံးဈေးနှုန်းကို မှာယူမီ အတည်ပြုပါမည်။
လက်ရှိ ဈေးနှုန်းများ ဖွင့်နေသည်…
H200 NVL ၏ အသုံးဝင်ပုံ
Large Language Model (LLM) Inference
VRAM 140 GB ဝန်ဆောင်မှုစွမ်းရည်နှင့် ခန့်မှန်းခြေ 3884 GB/s မေမိုရီ bandwidth ကို အသုံးချ၍ ကြီးမားသောမော်ဒယ်များကို sharding မပြုလုပ်ဘဲ မေမိုရီအတွင်း တိုက်ရိုက်လည်ပတ်ပါ။
မော်ဒယ် Fine-Tuning နှင့် Training
Hopper compute capability 9.0 နှင့် batch အရွယ်အစားကြီးများအတွက် ကျယ်ပြန့်သော GPU မေမိုရီကို အသုံးပြု၍ deep learning မော်ဒယ်များကို လေ့ကျင့်ပြီး ချိန်ညှိပါ။
မြင့်မားသော Throughput ရှိသည့် Batch Processing
PyTorch/CUDA၊ vLLM သို့မဟုတ် Ollama ကြိုတင်ပြင်ဆင်ထားသော template များကို အသုံးပြု၍ ဒေတာအရွယ်အစားကြီးများနှင့် context window ရှည်များကို ထိရောက်စွာ လုပ်ဆောင်ပါ။
သိပ္ပံဆိုင်ရာ ကွန်ပျူတာတွက်ချက်မှုနှင့် Simulation
စံ floating-point စွမ်းဆောင်ရည် ခန့်မှန်းခြေ 48.3 TFLOPS နှင့် အတော်များများသော onboard မေမိုရီ လိုအပ်သည့် ရှုပ်ထွေးသော ဒေတာစင်တာ simulation များကို လုပ်ဆောင်ပါ။
ဤ GPU သည် သင့်အတွက် သင့်တော်ပါသလား?
အဓိက ပိတ်ဆို့မှုမှာ VRAM ဝန်ဆောင်မှုစွမ်းရည်နှင့် မေမိုရီ bandwidth ဖြစ်သည့်အခါ၊ အထူးသဖြင့် card တစ်ခုတည်းပေါ်တွင် မော်ဒယ်ကြီးများကို လက်ခံဆောင်ရွက်ရာတွင် H200 NVL ကို ရွေးချယ်ပါ။ 140 GB မေမိုရီ မလိုအပ်သော ပေါ့ပါးသည့် inference၊ ပုံထုတ်လုပ်ခြင်း သို့မဟုတ် development လုပ်ငန်းများအတွက်ဆိုလျှင် workstation သေးငယ်သော သို့မဟုတ် consumer GPU သည် ပို၍ လက်တွေ့ကျပါသည်။
ဆင်တူ GPU များနှင့် နှိုင်းယှဉ်ရန်
မကြာခဏ မေးလေ့ရှိသော မေးခွန်းများ
ဘာကြောင့် စံ Hopper GPU ထက် H200 NVL ကို ရွေးချယ်သင့်သနည်း?
H200 NVL သည် VRAM 140 GB နှင့် ခန့်မှန်းခြေ 3884 GB/s မေမိုရီ bandwidth ကို ပံ့ပိုးပေးပြီး ၎င်းသည် ယခင် Hopper မျိုးဆက် card များ၏ မေမိုရီဝန်ဆောင်မှုစွမ်းရည်နှင့် bandwidth ထက် မြင့်မားပါသည်။ ၎င်းကြောင့် မော်ဒယ်ကြီးများနှင့် context window များကို GPU တစ်ခုတည်းပေါ်တွင် ထည့်သွင်းနိုင်ပါသည်။
H200 NVL သည် vLLM သို့မဟုတ် Ollama ဖြင့် LLM serving အတွက် သင့်တော်ပါသလား?
ဟုတ်ကဲ့၊ 140 GB မေမိုရီ pool နှင့် မြင့်မားသော မေမိုရီ bandwidth ကြောင့် LLM များကို serve လုပ်ရန် သင့်တော်ပါသည်။ ONIE သည် သင် အမြန်စတင်နိုင်စေရန် vLLM နှင့် Ollama နှစ်မျိုးလုံးအတွက် အဆင်သင့် template များကို ပံ့ပိုးပေးပါသည်။
ရရှိနိုင်သော software environment နှင့် ဝင်ရောက်နည်းများ ဘာတွေရှိသနည်း?
instance တိုင်းတွင် စိတ်ကြိုက် configuration အတွက် SSH ဝင်ရောက်ခွင့် အပြည့်အစုံ ပါဝင်ပါသည်။ PyTorch/CUDA၊ vLLM၊ Ollama နှင့် ComfyUI တို့ ပါဝင်သော ကြိုတင်ထည့်သွင်းထားသည့် template များဖြင့် instance များကိုလည်း စတင်နိုင်ပါသည်။
ONIE ပေါ်ရှိ H200 NVL အတွက် ငွေတောင်းခံပုံ ဘယ်လိုလဲ?
Instance များကို တစ်နာရီလျှင် အခြေခံ၍ ငွေတောင်းခံပါသည်။ သင့် H200 NVL instance အလုပ်လုပ်နေသည့် အချိန်အတွက်သာ ပေးချေရပါမည်။
H200 NVL ကို နာရီအလိုက် ငှားပါ
အကောင့်ဖွင့်ပါ၊ ဖွဲ့စည်းပုံ ရွေးချယ်ပြီး SSH မှတစ်ဆင့် ချိတ်ဆက်ပါ။ GPU ကို ဖျက်သည့်အခါ အခကြေးငွေ ရပ်ဆိုင်းပါမည်။
H200 NVL ငှားရန်