th

คำนวณ VRAM ของ LLM

ตรวจว่าโมเดลภาษาในเครื่องใส่ใน VRAM และ RAM ได้หรือไม่ แยกน้ำหนัก แคช KV บัฟเฟอร์ และการย้ายไป RAM เป็น GB และ GiB คำนวณในเครื่อง ไม่ต้องอัปโหลด

เครื่องคำนวณนี้ให้ค่าประมาณการเชิงแบบจำลองที่ไม่มีผลผูกพัน และไม่ใช่คำแนะนำทางการเงิน ภาษี หรือกฎหมาย อ่านเพิ่มเติมในข้อจำกัดความรับผิด
  • เกาหลีใต้
  • เขตยูโร
  • เคนยา
  • จีน
  • ญี่ปุ่น
  • ตุรกี
  • ไต้หวัน
  • ไทย
  • เนเธอร์แลนด์
  • ไนจีเรีย
  • บราซิล
  • บังกลาเทศ
  • บัลแกเรีย
  • ปากีสถาน
  • โปรตุเกส
  • โปแลนด์
  • ฝรั่งเศส
  • มาเลเซีย
  • เม็กซิโก
  • ยูเครน
  • เยอรมนี
  • รัสเซีย
  • เวียดนาม
  • สเปน
  • สวีเดน
  • สหรัฐอเมริกา
  • สหราชอาณาจักร
  • อิตาลี
  • อินเดีย
  • อินโดนีเซีย
  • อียิปต์
ชนิดหน่วยความจำ
  • การ์ดจอที่มี VRAM ของตัวเอง
  • หน่วยความจำร่วม (unified memory)
  • CPU อย่างเดียว ไม่มี GPU
จำนวน GPU
VRAM ต่อ GPU (GiB)
การแบ่งไปหลาย GPU
  • ไม่แบ่ง: โมเดลต้องใส่ใน GPU ตัวเดียวได้
  • รันไทม์แบ่งเลเยอร์ไปยัง GPU แต่ละตัว
พื้นที่สำรองต่อ GPU สำหรับจอและไดรเวอร์ (GiB)
RAM ของระบบ (GiB)
RAM สำรองสำหรับระบบและโปรแกรม (GiB)
ระบบปฏิบัติการ (พิมพ์อิสระ)
รันไทม์และเวอร์ชัน (พิมพ์อิสระ)
โมเดลและรุ่นแก้ไข (พิมพ์อิสระ)
พารามิเตอร์ทั้งหมด (พันล้าน, MoE นับผู้เชี่ยวชาญทุกตัว)
พารามิเตอร์ที่ทำงานต่อโทเค็น (พันล้าน, เฉพาะ MoE)
บิตต่อน้ำหนัก (ควอนไทซ์, ค่าจริง)
เลเยอร์ที่มีแคช KV
หัว KV (เมื่อใช้ GQA จะน้อยกว่าหัวคิวรี)
มิติต่อหัว
บริบทที่ใช้ (โทเค็น)
ความแม่นยำของแคช KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
คำขอพร้อมกัน
บัฟเฟอร์รันไทม์ (GiB, สมมติ)
ความไม่แน่นอน (±)
ค่าตัวอย่างที่ไม่ได้เปลี่ยนตรงกับโมเดลและคอมพิวเตอร์ของฉัน

ผลลัพธ์

เป็นการคำนวณตัวอย่างเท่านั้น: เปลี่ยนหรือยืนยันค่า
โมเดลใส่ได้ไหม
5.65 GB · 5.26 GiB
หน่วยความจำที่ต้องใช้ทั้งหมด
5.08 GB - 6.21 GB (± 10 %)
ช่วงความไม่แน่นอน
3.50 GB · 3.26 GiB
น้ำหนัก
1.07 GB · 1.00 GiB
แคช KV
1.07 GB · 1.00 GiB
บัฟเฟอร์รันไทม์ (สมมติ)
8.05 GB · 7.50 GiB
หน่วยความจำ GPU ที่ใช้ได้
GPU ตัวเดียว
การแบ่ง GPU
12.88 GB · 12.00 GiB
RAM ระบบที่ว่าง
0.00 GB
ย้ายไป RAM ระบบ
เป็นการคำนวณตัวอย่างเท่านั้น: เปลี่ยนหรือยืนยันค่า
บริบทที่ยาวที่สุดที่ใส่ได้ทั้งหมด (โทเค็น)
เป็นการคำนวณตัวอย่างเท่านั้น: เปลี่ยนหรือยืนยันค่า
จำนวนบิตสูงสุดที่ใส่ได้ทั้งหมด
ไม่ได้กรอก (โมเดลแบบหนาแน่น)
พารามิเตอร์ที่ทำงานต่อโทเค็น (MoE)
7 × 10⁹ × 4 bit ÷ 8
วิธีคำนวณน้ำหนัก
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
วิธีคำนวณแคช KV
ตัวอย่างที่แก้ไขได้ ไม่ใช่โมเดลใดโมเดลหนึ่ง
ที่มาของค่าโมเดล
ตัวอย่างที่แก้ไขได้ ไม่ใช่คอมพิวเตอร์ของคุณ
ที่มาของค่าหน่วยความจำ
ไม่ได้ระบุ
โปรไฟล์โมเดล
ไม่ได้ระบุ
ระบบปฏิบัติการ
ไม่ได้ระบุ
รันไทม์
ไม่พร้อมใช้งาน
เทียบกับโปรไฟล์โมเดลสาธารณะ

การใช้หน่วยความจำ (ขอบบน, %)

ไม่มีการประเมินพอดีเกือบเต็มเกินขีดจำกัด

โมเดลเดียวกันที่ควอนไทซ์ระดับอื่น

โมเดลเดียวกันที่ควอนไทซ์ระดับอื่น
บิตต่อน้ำหนักน้ำหนักรวม (ขอบบน)หน่วยความจำที่เหลือ
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
ไฟล์ของฉันถูกอัปโหลดไหม

ไม่ ทุกอย่างทำงานในเบราว์เซอร์ของคุณ - ไฟล์ของคุณไม่เคยออกจากอุปกรณ์ ตรวจสอบเรื่องนี้ได้อย่างไร

ไม่ต้องอัปโหลดทำงานในเครื่อง 100%
เนื้อหายังอยู่กับคุณไม่มีบุคคลที่สามเข้าถึง
โฮสต์ในเยอรมนีส่งเนื้อหาทั่วโลก
ตรวจสอบโดยอิสระTLS A+ · ส่วนหัว HTTP A+

โมเดลภาษาจะรันในเครื่องได้หรือไม่ ขึ้นอยู่กับหน่วยความจำเป็นอันดับแรก เครื่องคำนวณนี้แยกความต้องการออกเป็นส่วนต่าง ๆ ได้แก่ น้ำหนัก (จำนวนพารามิเตอร์คูณจำนวนบิตต่อน้ำหนักหารด้วย 8) แคช KV สำหรับบริบทที่ใช้ บัฟเฟอร์ของรันไทม์ และความไม่แน่นอนที่มองเห็นได้ พารามิเตอร์เจ็ดพันล้านตัวที่ 4 บิตให้น้ำหนักล้วน 3.5 GB ก่อนบวกโอเวอร์เฮดใด ๆ ทุกขนาดแสดงสองครั้ง คือเป็น GB (10⁹ ไบต์) และ GiB (2³⁰ ไบต์) เพราะการ์ดจอและ RAM นับแบบเลขฐานสอง ขณะที่ไฟล์โมเดลมักระบุเป็นฐานสิบ

แคช KV เพิ่มขึ้นเป็นเส้นตรงตามบริบทและขึ้นกับสถาปัตยกรรม คือ สอง (คีย์และค่า) คูณจำนวนเลเยอร์ คูณจำนวนหัว KV คูณมิติของหัว คูณจำนวนโทเค็น คูณจำนวนไบต์ต่อสมาชิก โมเดลที่ใช้ grouped-query attention มีหัว KV น้อยกว่าหัวคิวรี จึงใช้แคชน้อยลงตามไปด้วย สำหรับโมเดล mixture-of-experts หน่วยความจำคิดจากจำนวนพารามิเตอร์ทั้งหมด เพราะต้องโหลดผู้เชี่ยวชาญทุกตัว ส่วนพารามิเตอร์ที่ทำงานต่อโทเค็นกำหนดเพียงปริมาณการคำนวณ ตารางแสดงโมเดลเดียวกันที่ระดับควอนไทซ์อื่น พร้อมบริบทที่ยาวที่สุดและจำนวนบิตสูงสุดที่ใส่ได้ทั้งหมด

การ์ดจอหลายใบจะนับรวมกันก็ต่อเมื่อรันไทม์แบ่งเลเยอร์ไปยังการ์ดเหล่านั้นจริง ถ้าไม่มีการแบ่งที่รองรับ การ์ด 8 GiB สองใบก็ไม่เท่ากับการ์ด 16 GiB หนึ่งใบ ส่วนที่ใส่ในหน่วยความจำ GPU ไม่ได้สามารถย้ายไปไว้ใน RAM ของระบบ ผลลัพธ์จะบอกขนาดส่วนนั้น แต่ไม่ได้บอกอะไรเรื่องความเร็ว ไม่มีโปรไฟล์โมเดลในตัว ค่าที่กรอกไว้ล่วงหน้าเป็นเพียงตัวอย่างที่แก้ไขได้ ไม่ใช่โมเดลใดโมเดลหนึ่ง โปรดกรอกข้อมูลจากการ์ดโมเดล ทุกอย่างคำนวณในเบราว์เซอร์และไม่ถูกบันทึกไว้ที่ใด

ใช้ฟรีและไม่ต้องมีบัญชี คำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ

ข้อมูลทางเทคนิค

ข้อมูลทางเทคนิค
รูปแบบที่รองรับป้อนข้อมูลในฟอร์ม (ไม่ใช้ไฟล์)
การประมวลผลภายในเบราว์เซอร์ (JavaScript)
การอัปโหลดไฟล์ไม่มี

ใน 3 ขั้นตอน

  1. กรอกชนิดหน่วยความจำ VRAM ต่อ GPU จำนวนและการแบ่ง GPU รวมถึง RAM และพื้นที่สำรอง
  2. กรอกค่าจากการ์ดโมเดล ได้แก่ พารามิเตอร์ บิตต่อน้ำหนัก เลเยอร์ หัว KV มิติของหัว และบริบท
  3. อ่านผลลัพธ์ การแยกเป็นน้ำหนัก แคช KV และบัฟเฟอร์ ปริมาณที่ย้ายไป RAM และทางเลือกการควอนไทซ์

ข้อจำกัด: หน่วยความจำพอไม่ได้รับประกันความเร็ว การรองรับของรันไทม์ หรือไดรเวอร์ บัฟเฟอร์ของรันไทม์และพื้นที่สำรองเป็นค่าสมมติ รันไทม์ต้องการมากหรือน้อยต่างกันตามเวอร์ชัน ขนาดแบตช์ และแบ็กเอนด์ สูตร KV ใช้กับ attention ทั่วไปที่มี GQA/MQA สถาปัตยกรรมแบบ sliding-window, MLA หรือแบบไฮบริดอาจใช้แคชน้อยกว่ามาก ไม่มีข้อมูลโมเดลหรือฮาร์ดแวร์ในตัว

คำถามที่พบบ่อย

น้ำหนักของโมเดลต้องใช้หน่วยความจำเท่าไร?

พารามิเตอร์คูณบิตต่อน้ำหนักหารด้วย 8 พารามิเตอร์เจ็ดพันล้านตัวที่ 4 บิตเท่ากับ 3.5 GB หรือราว 3.26 GiB ก่อนบวกแคช KV และบัฟเฟอร์ รูปแบบควอนไทซ์ที่มีตัวคูณสเกลจะสูงกว่าจำนวนบิตที่ระบุเล็กน้อย ในกรณีนั้นให้กรอกบิตที่ใช้จริง (ขนาดไฟล์เป็นไบต์คูณ 8 หารด้วยจำนวนพารามิเตอร์)

ทำไมเครื่องคำนวณแสดงทั้ง GB และ GiB?

1 GB เท่ากับ 10⁹ ไบต์ ส่วน 1 GiB เท่ากับ 2³⁰ ไบต์ มากกว่าราว 7 เปอร์เซ็นต์ การ์ดจอและ RAM นับแบบฐานสองแม้บนกล่องจะเขียนว่า GB ส่วนไฟล์โมเดลมักระบุเป็นฐานสิบ จึงแสดงทั้งสองค่าแยกกันเพื่อไม่ให้ปนกันโดยไม่รู้ตัว

การ์ดจอ 8 GB สองใบเท่ากับการ์ด 16 GB หนึ่งใบหรือไม่?

เฉพาะเมื่อรันไทม์แบ่งเลเยอร์ไปยังการ์ดทั้งสองใบ หากไม่มีการแบ่งที่รองรับ โมเดลต้องใส่ในการ์ดใบเดียวได้ และเครื่องคำนวณจะนับเฉพาะหน่วยความจำของการ์ดนั้น แม้แบ่งแล้ว การ์ดแต่ละใบก็ยังต้องมีพื้นที่สำรองของตัวเอง

เครื่องคำนวณคิดโมเดล mixture-of-experts อย่างไร?

หน่วยความจำคิดจากพารามิเตอร์ทั้งหมด เพราะต้องโหลดผู้เชี่ยวชาญทุกตัว พารามิเตอร์ที่ทำงานต่อโทเค็นแสดงไว้เพื่อดูเท่านั้น มีผลต่อการคำนวณ ไม่ใช่พื้นที่ที่ต้องใช้

"ใส่ได้" หมายความว่าโมเดลจะรันเร็วหรือไม่?

ไม่ เครื่องคำนวณตรวจเฉพาะหน่วยความจำ ความเร็วในการตอบของโมเดลขึ้นกับแบนด์วิดท์หน่วยความจำ กำลังประมวลผล รันไทม์ และการย้ายไป RAM ส่วนที่อยู่ใน RAM ของระบบมักทำให้การสร้างผลลัพธ์ช้าลงมาก

คำนวณ VRAM ของ LLM ใช้ฟรีโดยไม่ต้องมีบัญชีได้หรือไม่

ได้ การใช้งานฟรีและไม่ต้องมีบัญชี คุณคำนวณได้บ่อยเท่าที่ต้องการ และข้อมูลที่คุณป้อนจะอยู่บนอุปกรณ์ของคุณ

เครื่องมือที่เกี่ยวข้อง

คำนวณโทเค็น AI · ตัวแปลงขนาดข้อมูล · เครื่องคำนวณค่าไฟ · เปรียบเทียบโมเดล AI · วางแผนอัปเกรดพีซี · ราคา RAM และ SSD ต่อ GB