Question 1

CMP 170HX เหมาะสำหรับการอนุมาน LLM หรือไม่?

Accepted Answer

เหมาะ ด้วย VRAM 64 GB และแบนด์วิดท์หน่วยความจำประมาณ 1516 GB/s จึงเหมาะอย่างยิ่งสำหรับการโหลดและให้บริการโมเดลภาษาขนาดใหญ่โดยใช้เทมเพลตอย่าง vLLM และ Ollama อย่างไรก็ตาม เนื่องจากมีพลังประมวลผลแบบ single-precision ประมาณ 12.1 TFLOPS การประมวลผลพรอมต์จะช้ากว่า GPU สำหรับศูนย์ข้อมูลที่มีความหนาแน่นของการประมวลผลสูงกว่า

Question 2

GPU รุ่นนี้เทียบกับตัวเร่งประมวลผลระดับศูนย์ข้อมูลมาตรฐานเป็นอย่างไร?

Accepted Answer

CMP 170HX มอบบัฟเฟอร์หน่วยความจำขนาดใหญ่ 64 GB และแบนด์วิดท์หน่วยความจำสูงใกล้เคียงกับการ์ดระดับศูนย์ข้อมูลสถาปัตยกรรม Ampere มาตรฐาน โดยทำงานที่ TDP 250 W ข้อจำกัดหลักคืออัตราการประมวลผลที่ต่ำกว่าซึ่งอยู่ที่ประมาณ 12.1 TFLOPS จึงเหมาะสำหรับงานที่เน้นหน่วยความจำมากกว่างานที่เน้นการประมวลผลหนัก

Question 3

มีสภาพแวดล้อมซอฟต์แวร์ใดบ้างที่พร้อมใช้งานสำหรับ GPU รุ่นนี้?

Accepted Answer

การ์ดรุ่นนี้รองรับ CUDA compute capability 8.0 และสามารถเปิดใช้งานบน ONIE โดยใช้เทมเพลตที่ตั้งค่าไว้ล่วงหน้า ได้แก่ PyTorch/CUDA, vLLM, Ollama และ ComfyUI นอกจากนี้คุณยังสามารถเข้าถึง SSH ได้โดยตรงเพื่อติดตั้งไลบรารีเพิ่มเติมและจัดการสภาพแวดล้อมของคุณ

Question 4

การเรียกเก็บเงินทำงานอย่างไรเมื่อเช่า CMP 170HX?

Accepted Answer

อินสแตนซ์บน ONIE ใช้การเรียกเก็บเงินรายชั่วโมง คุณจึงจ่ายเฉพาะช่วงเวลาที่ GPU ของคุณยังคงทำงานอยู่เท่านั้น

GPU	VRAM ต่อ GPU	สถาปัตยกรรม	ประสิทธิภาพ FP32	เริ่มต้น / ชั่วโมง	รายละเอียด
CMP 170HX	64 GB	Ampere	≈ 12.1 TFLOPS	—
Q RTX 8000	45 GB	Turing	≈ 11.9 TFLOPS	—	รายละเอียด
A800 PCIE	80 GB	Ampere	≈ 15.6 TFLOPS	—	รายละเอียด
A100 PCIE	40 GB	Ampere	≈ 15.6 TFLOPS	—	รายละเอียด

เช่า GPU NVIDIA CMP 170HX รายชั่วโมง

ข้อมูลจำเพาะ

VRAM ต่อ GPU

สถาปัตยกรรม

Compute capability

ประสิทธิภาพ FP32

แบนด์วิดท์หน่วยความจำ

ขีดจำกัดพลังงาน

คอนฟิกูเรชันที่พร้อมใช้งาน

เปรียบเทียบกับ GPU ที่ใกล้เคียง

เช่า CMP 170HX รายชั่วโมง