Kiểm tra mô hình ngôn ngữ cục bộ có vừa VRAM và RAM không: trọng số, bộ nhớ đệm KV, vùng đệm và phần chuyển sang RAM, theo GB và GiB, không tải lên.
i
Công cụ tính này đưa ra ước tính dựa trên mô hình, không ràng buộc và không phải là tư vấn tài chính, thuế hay pháp lý. Xem thêm trong tuyên bố miễn trừ
Thị trường
Ai Cập✓
Ấn Độ✓
Ba Lan✓
Bangladesh✓
Bồ Đào Nha✓
Brasil✓
Bulgaria✓
Đài Loan✓
Đức✓
Hà Lan✓
Hàn Quốc✓
Hoa Kỳ✓
Indonesia✓
Kenya✓
Khu vực đồng Euro✓
Malaysia✓
México✓
Nga✓
Nhật Bản✓
Nigeria✓
Pakistan✓
Pháp✓
Tây Ban Nha✓
Thái Lan✓
Thổ Nhĩ Kỳ✓
Thụy Điển✓
Trung Quốc✓
Ukraina✓
Việt Nam✓
Vương quốc Anh✓
Ý✓
Kết quả
Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Mô hình có vừa không?
5,65 GB · 5,26 GiB
Tổng bộ nhớ cần
5,08 GB - 6,21 GB (± 10 %)
Khoảng bất định
3,50 GB · 3,26 GiB
Trọng số
1,07 GB · 1,00 GiB
Bộ nhớ đệm KV
1,07 GB · 1,00 GiB
Vùng đệm runtime (giả định)
8,05 GB · 7,50 GiB
Bộ nhớ GPU dùng được
Một GPU
Chia GPU
12,88 GB · 12,00 GiB
RAM hệ thống còn trống
0,00 GB
Chuyển sang RAM hệ thống
Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Ngữ cảnh lớn nhất vừa hoàn toàn (token)
Chỉ là phép tính mẫu: hãy thay đổi hoặc xác nhận các giá trị
Không có hoạt động xử lý nội dung tệp của bạn trên bất kỳ máy chủ nào. Bạn không cần ký thỏa thuận xử lý dữ liệu với gottrix để làm việc với tài liệu mật hay tài liệu công việc.
Hosting tại ĐứcPhân phối toàn cầu
Máy chủ gốc đặt tại Hetzner ở Đức, phân phối trên toàn cầu qua mạng phân phối nội dung (CDN). Nội dung tệp của bạn không bao giờ được truyền đi trong quá trình này - tệp không bao giờ rời khỏi thiết bị của bạn.
Một mô hình ngôn ngữ có chạy được trên máy hay không trước hết phụ thuộc vào bộ nhớ. Công cụ chia nhu cầu thành các phần riêng: trọng số (số tham số nhân số bit mỗi trọng số chia 8), bộ nhớ đệm KV cho ngữ cảnh bạn dùng, vùng đệm của runtime và độ bất định hiển thị rõ. Bảy tỷ tham số ở 4 bit cho ra 3,5 GB trọng số thuần trước khi cộng thêm bất kỳ chi phí nào. Mỗi kích thước được hiển thị hai lần: theo GB (10⁹ byte) và GiB (2³⁰ byte), vì card đồ họa và RAM được đếm theo hệ nhị phân, còn tệp mô hình thường ghi theo hệ thập phân.
Bộ nhớ đệm KV tăng tuyến tính theo ngữ cảnh và phụ thuộc kiến trúc: hai (khóa và giá trị) nhân số lớp nhân số đầu KV nhân chiều của đầu nhân số token nhân số byte mỗi phần tử. Mô hình dùng grouped-query attention có ít đầu KV hơn đầu truy vấn nên cần ít bộ nhớ đệm hơn. Với mô hình mixture-of-experts, bộ nhớ tính theo tổng số tham số vì mọi chuyên gia đều phải được nạp; tham số hoạt động mỗi token chỉ quyết định khối lượng tính toán. Bảng cho thấy cùng mô hình ở các mức lượng tử hóa khác, kèm ngữ cảnh lớn nhất và số bit cao nhất còn vừa hoàn toàn.
Nhiều card đồ họa chỉ được cộng lại khi runtime thực sự chia các lớp cho chúng; nếu không có cách chia được hỗ trợ, hai card 8 GiB không phải là một card 16 GiB. Phần không vừa bộ nhớ GPU có thể chuyển sang RAM hệ thống; kết quả nêu rõ phần đó nhưng không nói gì về tốc độ. Không có hồ sơ mô hình dựng sẵn: các giá trị điền sẵn chỉ là ví dụ có thể sửa, không phải một mô hình cụ thể. Hãy nhập số liệu từ thẻ mô hình; mọi phép tính diễn ra trong trình duyệt và không được lưu ở đâu cả.
Miễn phí, không cần tài khoản: tính bao nhiêu lần tùy thích, dữ liệu bạn nhập vẫn ở trên thiết bị của bạn.
Thông số kỹ thuật
Thông số kỹ thuật
Định dạng đầu vào
Nhập liệu biểu mẫu (không cần tệp)
Xử lý
Cục bộ trong trình duyệt (JavaScript)
Tải tệp lên
Không có
Trong 3 bước
Nhập loại bộ nhớ, VRAM mỗi GPU, số lượng và cách chia GPU, cùng RAM và phần dự phòng.
Nhập thông số từ thẻ mô hình: tham số, số bit mỗi trọng số, số lớp, số đầu KV, chiều của đầu và ngữ cảnh.
Đọc kết quả, phần chia trọng số, bộ nhớ đệm KV và vùng đệm, phần chuyển sang RAM và các phương án lượng tử hóa.
Giới hạn: Đủ bộ nhớ không bảo đảm tốc độ, sự hỗ trợ của runtime hay trình điều khiển. Vùng đệm runtime và phần dự phòng là giả định; tùy phiên bản, kích thước lô và backend mà runtime cần nhiều hay ít hơn. Công thức KV áp dụng cho attention thông thường có GQA/MQA; kiến trúc sliding-window, MLA hoặc lai có thể cần ít bộ nhớ đệm hơn nhiều. Không có dữ liệu mô hình hay phần cứng dựng sẵn.
Câu hỏi thường gặp
Trọng số của mô hình cần bao nhiêu bộ nhớ?
Tham số nhân số bit mỗi trọng số chia 8. Bảy tỷ tham số ở 4 bit là 3,5 GB, khoảng 3,26 GiB, trước khi cộng bộ nhớ đệm KV và vùng đệm. Các định dạng lượng tử hóa có hệ số tỷ lệ thực tế cao hơn số bit danh nghĩa một chút; khi đó hãy nhập số bit hiệu dụng (kích thước tệp tính bằng byte nhân 8 chia số tham số).
Vì sao công cụ hiển thị cả GB và GiB?
Một GB là 10⁹ byte, một GiB là 2³⁰ byte, lớn hơn khoảng 7 phần trăm. Card đồ họa và RAM được đếm theo hệ nhị phân dù trên hộp ghi GB; tệp mô hình thường ghi theo hệ thập phân. Hai giá trị được hiển thị riêng để không bị lẫn mà không hay biết.
Hai card đồ họa 8 GB có bằng một card 16 GB không?
Chỉ khi runtime của bạn chia các lớp cho cả hai card. Nếu không có cách chia được hỗ trợ, mô hình phải vừa một card và công cụ chỉ tính bộ nhớ của card đó. Ngay cả khi chia, mỗi card vẫn cần phần dự phòng riêng.
Công cụ tính mô hình mixture-of-experts thế nào?
Với bộ nhớ, công cụ dùng tổng số tham số vì mọi chuyên gia đều phải được nạp. Tham số hoạt động mỗi token chỉ được hiển thị; chúng ảnh hưởng đến khối lượng tính toán chứ không phải dung lượng cần có.
"Vừa" có nghĩa là mô hình sẽ chạy nhanh không?
Không. Công cụ chỉ kiểm tra bộ nhớ. Tốc độ phản hồi của mô hình phụ thuộc vào băng thông bộ nhớ, sức tính toán, runtime và việc chuyển sang RAM. Phần nằm trong RAM hệ thống thường làm việc tạo văn bản chậm đi đáng kể.
Có thể dùng Tính VRAM cho LLM miễn phí và không cần tài khoản không?
Có. Bạn dùng miễn phí và không cần tài khoản: có thể tính bao nhiêu lần tùy thích, và dữ liệu bạn nhập vẫn ở trên thiết bị của bạn.
Chỉ khi có sự đồng ý của bạn, chúng tôi mới đo lường mức sử dụng ẩn danh qua cookie để cải thiện gottrix. Tệp của bạn luôn nằm cục bộ trên thiết bị của bạn. Quyền riêng tư