สำหรับ AI แบบโลคัล สิ่งแรกที่ตัดสินคือหน่วยความจำกราฟิก (VRAM หน่วยความจำวิดีโอ) ของ GPU (หน่วยประมวลผลกราฟิก): โมเดลต้องใส่ได้พร้อมน้ำหนัก แคช KV (เก็บคีย์และค่าของ attention) และบัฟเฟอร์ขณะรัน การตรวจใช้การคำนวณเดียวกับเครื่องมือสำหรับโมเดลภาษาแบบโลคัล: 8 พันล้านพารามิเตอร์ที่ 4.5 บิตคือน้ำหนัก 4.19 GiB, 32 เลเยอร์ที่มี 8 KV head มิติ head 128 และบริบท 8192 โทเคนใน FP16 ให้แคช KV 1.00 GiB รวมบัฟเฟอร์ 1 GiB เป็น 6.19 GiB หากขาดส่วนใด ความต้องการจะแสดงพร้อม «≥» และการ์ดจะถือว่าเล็กเกินเฉพาะเมื่อส่วนที่ทราบแล้วก็ใส่ไม่ได้
ค่าจากเอกสารข้อมูลและผลวัดแยกจากกัน VRAM แบนด์วิดท์หน่วยความจำเป็น GB/s และกำลังไฟเป็นวัตต์คือค่าทางทฤษฎี ส่วนโทเคนต่อวินาที (tok/s) มาจากผลวัดที่คุณกรอกเท่านั้น พร้อมประเภทการวัด (tg = สร้างข้อความ, pp = ประมวลผลพรอมต์) โมเดล การควอนไทซ์ บริบท และแบ็กเอนด์ การจัดอันดับเกิดขึ้นเฉพาะในกลุ่มที่เงื่อนไขเหมือนกันทุกประการ: 40 และ 55 tok/s ด้วยโมเดลเดียวกัน Q4_K_M 8192 โทเคน และ Vulkan รวมเป็น G1 ส่วนผลวัดที่ใช้ CUDA อยู่ในกลุ่มของตัวเอง ไม่มีการประมาณความเร็วจากแบนด์วิดท์เลย
ราคามีผลเฉพาะตัวเลขที่คำนวณได้: ราคาต่อ GiB ของ VRAM พร้อมอันดับตามสกุลเงิน ราคาต่อ GB/s และราคาต่อ tok/s สำหรับผลวัดที่มีอันดับ ตัวอย่าง: 16 GB ราคา 450 EUR คือ 28.13 EUR ต่อ GiB, 24 GB ราคา 900 EUR คือ 37.50 EUR ต่อ GiB สกุลเงินไม่ถูกผสมกัน และค่าส่งที่ไม่ทราบทำให้ค่านั้นเป็นค่าต่ำสุด แบ็กเอนด์อย่าง CUDA, ROCm, Vulkan, Metal หรือ SYCL คืออินเทอร์เฟซการเขียนโปรแกรมที่ซอฟต์แวร์ AI ใช้เรียก GPU ข้อมูลที่มีแหล่งที่มาถือว่ามีหลักฐาน ไม่มีแหล่งที่มาถือว่ายังไม่ยืนยัน และแบ็กเอนด์ที่ไม่ได้ระบุจะยังคงไม่ทราบ
ใช้ฟรีและไม่ต้องมีบัญชี คำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ
ข้อมูลทางเทคนิค
ข้อมูลทางเทคนิค | รูปแบบที่รองรับ | ป้อนข้อมูลในฟอร์ม (ไม่ใช้ไฟล์) |
|---|
| การประมวลผล | ภายในเบราว์เซอร์ (JavaScript) |
|---|
| การอัปโหลดไฟล์ | ไม่มี |
ใน 3 ขั้นตอน
- วางตัวเลือก GPU พร้อม VRAM แบนด์วิดท์ แบ็กเอนด์ กำลังไฟ ราคา และแหล่งที่มาเป็น CSV
- กรอกเวิร์กโหลด: พารามิเตอร์ บิตต่อน้ำหนัก บริบท ค่าจากการ์ดโมเดลและบัฟเฟอร์ พร้อมแบ็กเอนด์ที่ต้องใช้
- เพิ่มผลวัดของคุณเองหรือที่มีหลักฐาน พร้อมประเภท โมเดล การควอนไทซ์ บริบท และแบ็กเอนด์
- เปรียบเทียบการใส่ได้ โปรไฟล์แบ็กเอนด์ ราคาต่อ GiB และกลุ่มการวัดในตาราง แล้วคัดลอกรายงานเป็น CSV
ข้อจำกัด: คู่มือนี้ไม่รู้จักสินค้าใด และไม่ให้คำแนะนำการซื้อหรือการรับประกัน: คำนวณจากค่าของคุณเท่านั้น ไม่มีการพยากรณ์ tok/s ไม่มีเปอร์เซ็นต์คอขวด และไม่มีคะแนนรวม การตรวจใช้กับ GPU ตัวเดียวโดยไม่ย้ายไปหน่วยความจำระบบ ไม่ได้ตรวจไดรเวอร์ การระบายความร้อน เสียง ขนาด หรือพาวเวอร์ซัพพลาย ราคาเป็นไปตามที่คุณกรอก ไม่มีอัตราแลกเปลี่ยน
คำถามที่พบบ่อย
ทำไมเครื่องมือไม่ประมาณโทเคนต่อวินาทีจากแบนด์วิดท์?
เพราะความเร็วจริงขึ้นกับโมเดล การควอนไทซ์ บริบท แบ็กเอนด์ ไดรเวอร์ และซอฟต์แวร์ การพยากรณ์จากเอกสารข้อมูลอาจดูแม่นยำแต่เป็นตัวเลขที่แต่งขึ้น ตารางจึงแสดงเฉพาะค่าที่วัดได้พร้อมเงื่อนไข หากไม่มีผลวัดจะแสดง «?»
ทำไมผลวัดบางรายการไม่มีอันดับ?
อันดับมีเฉพาะระหว่างผลวัดที่ประเภท โมเดล การควอนไทซ์ บริบท และแบ็กเอนด์เหมือนกัน หากข้อมูลใดขาดไป ตารางจะแสดง «≠» แทนอันดับ และนับเป็นผลวัดที่ไม่มีอันดับ เงื่อนไขที่ต่างกันจะอยู่คนละกลุ่ม
✓, ~, ✗ และ ? ในตารางหมายถึงอะไร?
สำหรับการใส่ได้ ✓ คือใส่ได้ตามการคำนวณ ✗ คือใส่ไม่ได้ และ ? คือยังไม่ยืนยัน สำหรับแบ็กเอนด์ ✓ คือรองรับตามแหล่งที่มา ~ คือระบุไว้แต่ไม่มีแหล่งที่มา ✗ คือระบุว่าไม่รองรับ (รายการที่มีเครื่องหมายลบ เช่น -CUDA) และ ? คือไม่ทราบ แบ็กเอนด์ที่ไม่ได้ระบุจะไม่ถูกนับว่า «ไม่» เลย
ทำไม VRAM «16 GB» จึงนับเป็น 16 GiB?
หน่วยความจำกราฟิกจัดเป็นขนาดแบบไบนารี แต่มักติดป้ายว่า «GB» เหมือน RAM สวิตช์จึงอ่านค่าเหล่านี้เป็น GiB (2³⁰ ไบต์) ปิดสวิตช์หากแหล่งที่มาของคุณหมายถึงกิกะไบต์ฐานสิบจริง ๆ แล้วตารางจะแสดงค่าที่แปลงเป็น GiB
ซื้อ GPU สำหรับ AI โลคัล ใช้ฟรีโดยไม่ต้องมีบัญชีได้หรือไม่
ได้ การใช้งานฟรีและไม่ต้องมีบัญชี คุณคำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ
เครื่องมือที่เกี่ยวข้อง
คำนวณ VRAM ของ LLM · ราคา RAM และ SSD ต่อ GB · AI บนเครื่องหรือคลาวด์ · วางแผนอัปเกรดพีซี · เครื่องคำนวณค่าไฟ