NVIDIA H200 NVL GPU-г цагаар түрээслэх
NVIDIA H200 NVL нь Hopper архитектуртай дата төвд зориулсан GPU бөгөөд санах ойн эрчимтэй ачаалалтай ажлуудад зориулагдсан. 140 GB VRAM багтаамжтай бөгөөд санах ойн дамжуулах чадвар нь ойролцоогоор 3884 GB/s байна. 600 W эрчим хүчний хэмжээтэй ажиллах бөгөөд compute capability 9.0-ийг дэмждэг, ойролцоогоор 48.3 TFLOPS стандарт хөвөгч таслалтай тооцоолол гүйцэтгэдэг. Та энэ процессорыг ONIE дээр цагаар тооцох төлбөртэйгээр, шууд SSH хандалт болон бэлэн загваруудтай байрлуулах боломжтой.
Техникийн тодорхойлолт
GPU бүрийн VRAM
Архитектур
Тооцооллын чадвар
FP32 тооцоолол
Санах ойн дамжуулах чадвар
Цахилгаан хязгаар
Одоогоор жагсаалтад байгаа машинуудын утгыг дэд бүтцийн үйлчилгээ үзүүлэгч мэдээлсэн; бодит гүйцэтгэл машин бүрээр ялгаатай байна.
Боломжтой тохиргоонууд
Бодит нөөц ба үнэ тасралтгүй шинэчлэгдэнэ. Эцсийн үнийг захиалахаас өмнө баталгаажуулна.
Бодит үнийг ачаалж байна…
H200 NVL-ийн тохиромжтой хэрэглээ
Том хэмжээний хэлний загварын инференс
Загваруудыг шард хийлгүйгээр санах ойд ажиллуулж, 140 GB VRAM багтаамж болон ойролцоогоор 3884 GB/s санах ойн дамжуулах чадвараас ашиглана.
Загварыг тохируулах болон сургах
Hopper compute capability 9.0 болон том багцын хэмжээнд зориулсан өргөн GPU санах ойг ашиглан гүнзгий сургалтын загваруудыг сургаж, тохируулна.
Өндөр гүйцэтгэлтэй багцын боловсруулалт
PyTorch/CUDA, vLLM эсвэл Ollama-ийн урьдчилан тохируулсан загваруудыг ашиглан асар том өгөгдлийн багц болон урт контекст цонхыг үр ашигтай боловсруулна.
Шинжлэх ухааны тооцоолол ба симуляци
Ойролцоогоор 48.3 TFLOPS стандарт хөвөгч таслалтай гүйцэтгэл болон их хэмжээний санах ой шаардсан нарийн төвөгтэй дата төвийн симуляцийг гүйцэтгэнэ.
Энэ GPU танд тохирох уу?
H200 NVL-ийг таны гол хязгаарлагч нь VRAM багтаамж ба санах ойн дамжуулах чадвар байх үед, ялангуяа нэг карт дээр том загвар хостлоход сонгоно уу. Хөнгөн инференс, стандарт зураг үүсгэлт эсвэл 140 GB санах ой шаардлагагүй хөгжүүлэлтийн ажлуудад жижиг ажлын станц эсвэл хэрэглэгчийн GPU илүү практик сонголт байна.
Ижил төстэй GPU-тай харьцуулах
| GPU | GPU бүрийн VRAM | Архитектур | FP32 тооцоолол | Цагт хамгийн бага | Дэлгэрэнгүй |
|---|---|---|---|---|---|
| H200 NVL | 140 GB | Hopper | ≈ 48.3 TFLOPS | — | |
| H100 NVL | 94 GB | Hopper | ≈ 48.3 TFLOPS | — | Дэлгэрэнгүй |
| H100 SXM | 80 GB | Hopper | ≈ 53.5 TFLOPS | — | Дэлгэрэнгүй |
| H100 PCIE | 80 GB | Hopper | ≈ 41 TFLOPS | — | Дэлгэрэнгүй |
Түгээмэл асуултууд
Яагаад H200 NVL-ийг стандарт Hopper GPU-ээс илүүд үзэх вэ?
H200 NVL нь 140 GB VRAM болон ойролцоогоор 3884 GB/s санах ойн дамжуулах чадвар санал болгодог бөгөөд энэ нь өмнөх Hopper үеийн картуудын санах ойн багтаамж болон дамжуулах чадвараас өндөр юм. Энэ нь илүү том загвар болон контекст цонхыг нэг GPU дээр багтаах боломжийг олгодог.
H200 NVL нь vLLM эсвэл Ollama-тай LLM үйлчилгээнд тохиромжтой юу?
Тийм, 140 GB санах ойн сан болон өндөр санах ойн дамжуулах чадвар нь том хэлний загваруудыг үйлчлэхэд тохиромжтой. ONIE нь таныг хурдан эхлүүлэхэд зориулж vLLM болон Ollama-д бэлэн загваруудыг санал болгодог.
Ямар программ хангамжийн орчин болон хандалтын аргууд боломжтой вэ?
Инстанц бүр захиалгат тохиргоонд зориулсан бүрэн SSH хандалттай. Мөн PyTorch/CUDA, vLLM, Ollama болон ComfyUI зэрэг урьдчилан суулгасан загваруудтай инстанц ажиллуулж болно.
ONIE дээр H200 NVL-ийн төлбөр хэрхэн тооцогддог вэ?
Инстанцууд цагаар тооцогддог. Та зөвхөн H200 NVL инстанц идэвхтэй байх хугацаанд төлбөр төлнө.
H200 NVL-ийг цагаар түрээслэх
Данс үүсгээд тохиргоогоо сонгож, SSH-ээр холбогдоно уу. GPU-г устгах үед төлбөр тооцох зогсоно.
H200 NVL түрээслэх