Question 1

RTX 3080 Ti เหมาะสำหรับการทำ LLM Inference และการทำ Fine-tuning หรือไม่?

Accepted Answer

ด้วย VRAM ขนาด 12 GB และแบนด์วิดท์หน่วยความจำประมาณ 787 GB/s จึงเหมาะอย่างยิ่งสำหรับการรันโมเดลภาษาขนาดเล็กหรือที่ผ่านการ Quantize ผ่าน Ollama หรือ vLLM สำหรับการทำ Full Fine-tuning หรือการรันโมเดลขนาดใหญ่ที่ไม่ได้ทำ Quantize ขอแนะนำให้ใช้ GPU ที่มีความจุ VRAM มากกว่านี้

Question 2

RTX 3080 Ti เมื่อเทียบกับ GPU ระดับผู้บริโภคสถาปัตยกรรม Ampere รุ่นใกล้เคียงเป็นอย่างไร?

Accepted Answer

RTX 3080 Ti อยู่กึ่งกลางระหว่าง RTX 3080 รุ่นมาตรฐานและการ์ดระดับผู้บริโภคที่มีหน่วยความจำสูงกว่าในตระกูล Ampere โดยให้ VRAM ขนาด 12 GB และพลังการคำนวณประมาณ 35.1 TFLOPS หากเวิร์กโหลดของคุณเน้นการคำนวณและใช้หน่วยความจำไม่เกิน 12 GB การ์ดรุ่นนี้จะให้ปริมาณงานที่สูงโดยไม่จำเป็นต้องขยับไปใช้รุ่นที่มีหน่วยความจำสูงกว่า

Question 3

ฉันจะเชื่อมต่อกับอินสแตนซ์ RTX 3080 Ti บน ONIE ได้อย่างไร?

Accepted Answer

คุณสามารถเชื่อมต่อได้โดยตรงผ่าน SSH ทันทีที่อินสแตนซ์กำลังทำงาน นอกจากนี้ ONIE ยังมีเทมเพลตที่ตั้งค่าไว้ล่วงหน้าสำหรับ PyTorch/CUDA, vLLM, Ollama และ ComfyUI เพื่อให้คุณเริ่มทำงานได้ทันที

Question 4

การเรียกเก็บเงินสำหรับ GPU รุ่นนี้คิดอย่างไร?

Accepted Answer

อินสแตนซ์บน ONIE ใช้การเรียกเก็บเงินแบบรายชั่วโมง คุณจะถูกเรียกเก็บเงินเฉพาะช่วงเวลาที่อินสแตนซ์ RTX 3080 Ti ของคุณเปิดใช้งานอยู่เท่านั้น

GPU	VRAM ต่อ GPU	สถาปัตยกรรม	ประสิทธิภาพ FP32	เริ่มต้น / ชั่วโมง	รายละเอียด
RTX 3080 Ti	12 GB	Ampere	≈ 35.1 TFLOPS	—
RTX 4070S	12 GB	Ada Lovelace	≈ 35.8 TFLOPS	—	รายละเอียด
RTX 4070	12 GB	Ada Lovelace	≈ 29.3 TFLOPS	—	รายละเอียด
RTX 3080	10 GB	Ampere	≈ 29.5 TFLOPS	—	รายละเอียด

เช่า GPU NVIDIA RTX 3080 Ti รายชั่วโมง

ข้อมูลจำเพาะ

VRAM ต่อ GPU

สถาปัตยกรรม

Compute capability

ประสิทธิภาพ FP32

แบนด์วิดท์หน่วยความจำ

ขีดจำกัดพลังงาน

คอนฟิกูเรชันที่พร้อมใช้งาน

เปรียบเทียบกับ GPU ที่ใกล้เคียง

เช่า RTX 3080 Ti รายชั่วโมง