โมเดลภาษาจะรันในเครื่องได้หรือไม่ ขึ้นอยู่กับหน่วยความจำเป็นอันดับแรก เครื่องคำนวณนี้แยกความต้องการออกเป็นส่วนต่าง ๆ ได้แก่ น้ำหนัก (จำนวนพารามิเตอร์คูณจำนวนบิตต่อน้ำหนักหารด้วย 8) แคช KV สำหรับบริบทที่ใช้ บัฟเฟอร์ของรันไทม์ และความไม่แน่นอนที่มองเห็นได้ พารามิเตอร์เจ็ดพันล้านตัวที่ 4 บิตให้น้ำหนักล้วน 3.5 GB ก่อนบวกโอเวอร์เฮดใด ๆ ทุกขนาดแสดงสองครั้ง คือเป็น GB (10⁹ ไบต์) และ GiB (2³⁰ ไบต์) เพราะการ์ดจอและ RAM นับแบบเลขฐานสอง ขณะที่ไฟล์โมเดลมักระบุเป็นฐานสิบ
แคช KV เพิ่มขึ้นเป็นเส้นตรงตามบริบทและขึ้นกับสถาปัตยกรรม คือ สอง (คีย์และค่า) คูณจำนวนเลเยอร์ คูณจำนวนหัว KV คูณมิติของหัว คูณจำนวนโทเค็น คูณจำนวนไบต์ต่อสมาชิก โมเดลที่ใช้ grouped-query attention มีหัว KV น้อยกว่าหัวคิวรี จึงใช้แคชน้อยลงตามไปด้วย สำหรับโมเดล mixture-of-experts หน่วยความจำคิดจากจำนวนพารามิเตอร์ทั้งหมด เพราะต้องโหลดผู้เชี่ยวชาญทุกตัว ส่วนพารามิเตอร์ที่ทำงานต่อโทเค็นกำหนดเพียงปริมาณการคำนวณ ตารางแสดงโมเดลเดียวกันที่ระดับควอนไทซ์อื่น พร้อมบริบทที่ยาวที่สุดและจำนวนบิตสูงสุดที่ใส่ได้ทั้งหมด
การ์ดจอหลายใบจะนับรวมกันก็ต่อเมื่อรันไทม์แบ่งเลเยอร์ไปยังการ์ดเหล่านั้นจริง ถ้าไม่มีการแบ่งที่รองรับ การ์ด 8 GiB สองใบก็ไม่เท่ากับการ์ด 16 GiB หนึ่งใบ ส่วนที่ใส่ในหน่วยความจำ GPU ไม่ได้สามารถย้ายไปไว้ใน RAM ของระบบ ผลลัพธ์จะบอกขนาดส่วนนั้น แต่ไม่ได้บอกอะไรเรื่องความเร็ว ไม่มีโปรไฟล์โมเดลในตัว ค่าที่กรอกไว้ล่วงหน้าเป็นเพียงตัวอย่างที่แก้ไขได้ ไม่ใช่โมเดลใดโมเดลหนึ่ง โปรดกรอกข้อมูลจากการ์ดโมเดล ทุกอย่างคำนวณในเบราว์เซอร์และไม่ถูกบันทึกไว้ที่ใด
ใช้ฟรีและไม่ต้องมีบัญชี คำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ
ข้อมูลทางเทคนิค
ข้อมูลทางเทคนิค | รูปแบบที่รองรับ | ป้อนข้อมูลในฟอร์ม (ไม่ใช้ไฟล์) |
|---|
| การประมวลผล | ภายในเบราว์เซอร์ (JavaScript) |
|---|
| การอัปโหลดไฟล์ | ไม่มี |
ใน 3 ขั้นตอน
- กรอกชนิดหน่วยความจำ VRAM ต่อ GPU จำนวนและการแบ่ง GPU รวมถึง RAM และพื้นที่สำรอง
- กรอกค่าจากการ์ดโมเดล ได้แก่ พารามิเตอร์ บิตต่อน้ำหนัก เลเยอร์ หัว KV มิติของหัว และบริบท
- อ่านผลลัพธ์ การแยกเป็นน้ำหนัก แคช KV และบัฟเฟอร์ ปริมาณที่ย้ายไป RAM และทางเลือกการควอนไทซ์
ข้อจำกัด: หน่วยความจำพอไม่ได้รับประกันความเร็ว การรองรับของรันไทม์ หรือไดรเวอร์ บัฟเฟอร์ของรันไทม์และพื้นที่สำรองเป็นค่าสมมติ รันไทม์ต้องการมากหรือน้อยต่างกันตามเวอร์ชัน ขนาดแบตช์ และแบ็กเอนด์ สูตร KV ใช้กับ attention ทั่วไปที่มี GQA/MQA สถาปัตยกรรมแบบ sliding-window, MLA หรือแบบไฮบริดอาจใช้แคชน้อยกว่ามาก ไม่มีข้อมูลโมเดลหรือฮาร์ดแวร์ในตัว
คำถามที่พบบ่อย
น้ำหนักของโมเดลต้องใช้หน่วยความจำเท่าไร?
พารามิเตอร์คูณบิตต่อน้ำหนักหารด้วย 8 พารามิเตอร์เจ็ดพันล้านตัวที่ 4 บิตเท่ากับ 3.5 GB หรือราว 3.26 GiB ก่อนบวกแคช KV และบัฟเฟอร์ รูปแบบควอนไทซ์ที่มีตัวคูณสเกลจะสูงกว่าจำนวนบิตที่ระบุเล็กน้อย ในกรณีนั้นให้กรอกบิตที่ใช้จริง (ขนาดไฟล์เป็นไบต์คูณ 8 หารด้วยจำนวนพารามิเตอร์)
ทำไมเครื่องคำนวณแสดงทั้ง GB และ GiB?
1 GB เท่ากับ 10⁹ ไบต์ ส่วน 1 GiB เท่ากับ 2³⁰ ไบต์ มากกว่าราว 7 เปอร์เซ็นต์ การ์ดจอและ RAM นับแบบฐานสองแม้บนกล่องจะเขียนว่า GB ส่วนไฟล์โมเดลมักระบุเป็นฐานสิบ จึงแสดงทั้งสองค่าแยกกันเพื่อไม่ให้ปนกันโดยไม่รู้ตัว
การ์ดจอ 8 GB สองใบเท่ากับการ์ด 16 GB หนึ่งใบหรือไม่?
เฉพาะเมื่อรันไทม์แบ่งเลเยอร์ไปยังการ์ดทั้งสองใบ หากไม่มีการแบ่งที่รองรับ โมเดลต้องใส่ในการ์ดใบเดียวได้ และเครื่องคำนวณจะนับเฉพาะหน่วยความจำของการ์ดนั้น แม้แบ่งแล้ว การ์ดแต่ละใบก็ยังต้องมีพื้นที่สำรองของตัวเอง
เครื่องคำนวณคิดโมเดล mixture-of-experts อย่างไร?
หน่วยความจำคิดจากพารามิเตอร์ทั้งหมด เพราะต้องโหลดผู้เชี่ยวชาญทุกตัว พารามิเตอร์ที่ทำงานต่อโทเค็นแสดงไว้เพื่อดูเท่านั้น มีผลต่อการคำนวณ ไม่ใช่พื้นที่ที่ต้องใช้
"ใส่ได้" หมายความว่าโมเดลจะรันเร็วหรือไม่?
ไม่ เครื่องคำนวณตรวจเฉพาะหน่วยความจำ ความเร็วในการตอบของโมเดลขึ้นกับแบนด์วิดท์หน่วยความจำ กำลังประมวลผล รันไทม์ และการย้ายไป RAM ส่วนที่อยู่ใน RAM ของระบบมักทำให้การสร้างผลลัพธ์ช้าลงมาก
คำนวณ VRAM ของ LLM ใช้ฟรีโดยไม่ต้องมีบัญชีได้หรือไม่
ได้ การใช้งานฟรีและไม่ต้องมีบัญชี คุณคำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ
เครื่องมือที่เกี่ยวข้อง
คำนวณโทเค็น AI · ตัวแปลงขนาดข้อมูล · เครื่องคำนวณค่าไฟ · เปรียบเทียบโมเดล AI · วางแผนอัปเกรดพีซี · ราคา RAM และ SSD ต่อ GB