vi

Tính VRAM cho LLM

Kiểm tra mô hình ngôn ngữ cục bộ có vừa VRAM và RAM không: trọng số, bộ nhớ đệm KV, vùng đệm và phần chuyển sang RAM, theo GB và GiB, không tải lên.

Công cụ tính này đưa ra ước tính dựa trên mô hình, không ràng buộc và không phải là tư vấn tài chính, thuế hay pháp lý. Xem thêm trong tuyên bố miễn trừ
  • Ai Cập
  • Ấn Độ
  • Ba Lan
  • Bangladesh
  • Bồ Đào Nha
  • Brasil
  • Bulgaria
  • Đài Loan
  • Đức
  • Hà Lan
  • Hàn Quốc
  • Hoa Kỳ
  • Indonesia
  • Kenya
  • Khu vực đồng Euro
  • Malaysia
  • México
  • Nga
  • Nhật Bản
  • Nigeria
  • Pakistan
  • Pháp
  • Tây Ban Nha
  • Thái Lan
  • Thổ Nhĩ Kỳ
  • Thụy Điển
  • Trung Quốc
  • Ukraina
  • Việt Nam
  • Vương quốc Anh
  • Ý
Loại bộ nhớ
  • Card đồ họa có VRAM riêng
  • Bộ nhớ dùng chung (unified memory)
  • Chỉ CPU, không có GPU
Số GPU
VRAM mỗi GPU (GiB)
Chia trên nhiều GPU
  • Không chia: mô hình phải vừa một GPU
  • Runtime chia các lớp cho các GPU
Dự phòng mỗi GPU cho màn hình và trình điều khiển (GiB)
RAM hệ thống (GiB)
RAM dự phòng cho hệ thống và ứng dụng (GiB)
Hệ điều hành (nhập tự do)
Runtime và phiên bản (nhập tự do)
Mô hình và bản sửa đổi (nhập tự do)
Tổng tham số (tỷ, với MoE là mọi chuyên gia)
Tham số hoạt động mỗi token (tỷ, chỉ MoE)
Số bit mỗi trọng số (lượng tử hóa, hiệu dụng)
Số lớp có bộ nhớ đệm KV
Số đầu KV (với GQA ít hơn đầu truy vấn)
Chiều của mỗi đầu
Ngữ cảnh sử dụng (token)
Độ chính xác của bộ nhớ đệm KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Yêu cầu song song
Vùng đệm runtime (GiB, giả định)
Độ bất định (±)
Các giá trị mẫu chưa thay đổi đúng với mô hình và máy tính của tôi

Kết quả

Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Mô hình có vừa không?
5,65 GB · 5,26 GiB
Tổng bộ nhớ cần
5,08 GB - 6,21 GB (± 10 %)
Khoảng bất định
3,50 GB · 3,26 GiB
Trọng số
1,07 GB · 1,00 GiB
Bộ nhớ đệm KV
1,07 GB · 1,00 GiB
Vùng đệm runtime (giả định)
8,05 GB · 7,50 GiB
Bộ nhớ GPU dùng được
Một GPU
Chia GPU
12,88 GB · 12,00 GiB
RAM hệ thống còn trống
0,00 GB
Chuyển sang RAM hệ thống
Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Ngữ cảnh lớn nhất vừa hoàn toàn (token)
Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Số bit cao nhất vừa hoàn toàn
Không nhập (mô hình dày đặc)
Tham số hoạt động mỗi token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Cách tính trọng số
2 × 32 × 8 × 128 × 8.192 × 1 × 16 bit ÷ 8
Cách tính bộ nhớ đệm KV
Ví dụ có thể sửa, không phải mô hình cụ thể
Nguồn của thông số mô hình
Ví dụ có thể sửa, không phải máy tính của bạn
Nguồn gốc của các giá trị bộ nhớ
Chưa nhập
Hồ sơ mô hình
Chưa nhập
Hệ điều hành
Chưa nhập
Runtime
Không có
So sánh với hồ sơ mô hình công khai

Mức dùng bộ nhớ (giới hạn trên, %)

Không đánh giáVừaSát giới hạnĐã vượt

Cùng mô hình với mức lượng tử hóa khác

Cùng mô hình với mức lượng tử hóa khác
Số bit mỗi trọng sốTrọng sốTổng (giới hạn trên)Bộ nhớ còn lại
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Tệp của tôi có bị tải lên không?

Không. Mọi thứ chạy trong trình duyệt của bạn - tệp của bạn không bao giờ rời khỏi thiết bị. Cách kiểm chứng điều này

Không tải lên100% cục bộ
Nội dung ở lại với bạnkhông ai khác chạm tới
Hosting tại ĐứcPhân phối toàn cầu
Kiểm định độc lậpTLS A+ · HTTP header A+

Một mô hình ngôn ngữ có chạy được trên máy hay không trước hết phụ thuộc vào bộ nhớ. Công cụ chia nhu cầu thành các phần riêng: trọng số (số tham số nhân số bit mỗi trọng số chia 8), bộ nhớ đệm KV cho ngữ cảnh bạn dùng, vùng đệm của runtime và độ bất định hiển thị rõ. Bảy tỷ tham số ở 4 bit cho ra 3,5 GB trọng số thuần trước khi cộng thêm bất kỳ chi phí nào. Mỗi kích thước được hiển thị hai lần: theo GB (10⁹ byte) và GiB (2³⁰ byte), vì card đồ họa và RAM được đếm theo hệ nhị phân, còn tệp mô hình thường ghi theo hệ thập phân.

Bộ nhớ đệm KV tăng tuyến tính theo ngữ cảnh và phụ thuộc kiến trúc: hai (khóa và giá trị) nhân số lớp nhân số đầu KV nhân chiều của đầu nhân số token nhân số byte mỗi phần tử. Mô hình dùng grouped-query attention có ít đầu KV hơn đầu truy vấn nên cần ít bộ nhớ đệm hơn. Với mô hình mixture-of-experts, bộ nhớ tính theo tổng số tham số vì mọi chuyên gia đều phải được nạp; tham số hoạt động mỗi token chỉ quyết định khối lượng tính toán. Bảng cho thấy cùng mô hình ở các mức lượng tử hóa khác, kèm ngữ cảnh lớn nhất và số bit cao nhất còn vừa hoàn toàn.

Nhiều card đồ họa chỉ được cộng lại khi runtime thực sự chia các lớp cho chúng; nếu không có cách chia được hỗ trợ, hai card 8 GiB không phải là một card 16 GiB. Phần không vừa bộ nhớ GPU có thể chuyển sang RAM hệ thống; kết quả nêu rõ phần đó nhưng không nói gì về tốc độ. Không có hồ sơ mô hình dựng sẵn: các giá trị điền sẵn chỉ là ví dụ có thể sửa, không phải một mô hình cụ thể. Hãy nhập số liệu từ thẻ mô hình; mọi phép tính diễn ra trong trình duyệt và không được lưu ở đâu cả.

Miễn phí, không cần tài khoản: tính bao nhiêu lần tùy thích, dữ liệu bạn nhập vẫn ở trên thiết bị của bạn.

Thông số kỹ thuật

Thông số kỹ thuật
Định dạng đầu vàoNhập liệu biểu mẫu (không cần tệp)
Xử lýCục bộ trong trình duyệt (JavaScript)
Tải tệp lênKhông có

Trong 3 bước

  1. Nhập loại bộ nhớ, VRAM mỗi GPU, số lượng và cách chia GPU, cùng RAM và phần dự phòng.
  2. Nhập thông số từ thẻ mô hình: tham số, số bit mỗi trọng số, số lớp, số đầu KV, chiều của đầu và ngữ cảnh.
  3. Đọc kết quả, phần chia trọng số, bộ nhớ đệm KV và vùng đệm, phần chuyển sang RAM và các phương án lượng tử hóa.

Giới hạn: Đủ bộ nhớ không bảo đảm tốc độ, sự hỗ trợ của runtime hay trình điều khiển. Vùng đệm runtime và phần dự phòng là giả định; tùy phiên bản, kích thước lô và backend mà runtime cần nhiều hay ít hơn. Công thức KV áp dụng cho attention thông thường có GQA/MQA; kiến trúc sliding-window, MLA hoặc lai có thể cần ít bộ nhớ đệm hơn nhiều. Không có dữ liệu mô hình hay phần cứng dựng sẵn.

Câu hỏi thường gặp

Trọng số của mô hình cần bao nhiêu bộ nhớ?

Tham số nhân số bit mỗi trọng số chia 8. Bảy tỷ tham số ở 4 bit là 3,5 GB, khoảng 3,26 GiB, trước khi cộng bộ nhớ đệm KV và vùng đệm. Các định dạng lượng tử hóa có hệ số tỷ lệ thực tế cao hơn số bit danh nghĩa một chút; khi đó hãy nhập số bit hiệu dụng (kích thước tệp tính bằng byte nhân 8 chia số tham số).

Vì sao công cụ hiển thị cả GB và GiB?

Một GB là 10⁹ byte, một GiB là 2³⁰ byte, lớn hơn khoảng 7 phần trăm. Card đồ họa và RAM được đếm theo hệ nhị phân dù trên hộp ghi GB; tệp mô hình thường ghi theo hệ thập phân. Hai giá trị được hiển thị riêng để không bị lẫn mà không hay biết.

Hai card đồ họa 8 GB có bằng một card 16 GB không?

Chỉ khi runtime của bạn chia các lớp cho cả hai card. Nếu không có cách chia được hỗ trợ, mô hình phải vừa một card và công cụ chỉ tính bộ nhớ của card đó. Ngay cả khi chia, mỗi card vẫn cần phần dự phòng riêng.

Công cụ tính mô hình mixture-of-experts thế nào?

Với bộ nhớ, công cụ dùng tổng số tham số vì mọi chuyên gia đều phải được nạp. Tham số hoạt động mỗi token chỉ được hiển thị; chúng ảnh hưởng đến khối lượng tính toán chứ không phải dung lượng cần có.

"Vừa" có nghĩa là mô hình sẽ chạy nhanh không?

Không. Công cụ chỉ kiểm tra bộ nhớ. Tốc độ phản hồi của mô hình phụ thuộc vào băng thông bộ nhớ, sức tính toán, runtime và việc chuyển sang RAM. Phần nằm trong RAM hệ thống thường làm việc tạo văn bản chậm đi đáng kể.

Có thể dùng Tính VRAM cho LLM miễn phí và không cần tài khoản không?

Có. Bạn dùng miễn phí và không cần tài khoản: có thể tính bao nhiêu lần tùy thích, và dữ liệu bạn nhập vẫn ở trên thiết bị của bạn.

Công cụ liên quan

Tính token AI · Chuyển Đổi Dung Lượng · Chi phí năng lượng · So sánh mô hình AI · Kế hoạch nâng cấp PC · Giá RAM và SSD mỗi GB