LLM 显存计算器
检查本地语言模型能否装进你的显存和内存:权重、KV 缓存、缓冲区和卸载分开显示,同时给出 GB 和 GiB,全程本地计算,无需上传。
- 埃及
- 巴基斯坦
- 巴西
- 保加利亚
- 波兰
- 德国
- 俄罗斯
- 法国
- 韩国
- 荷兰
- 肯尼亚
- 马来西亚
- 美国
- 孟加拉国
- 墨西哥
- 尼日利亚
- 欧元区
- 葡萄牙
- 日本
- 瑞典
- 台湾
- 泰国
- 土耳其
- 乌克兰
- 西班牙
- 意大利
- 印度
- 印度尼西亚
- 英国
- 越南
- 中国
计算结果
内存占用(上限,%)
同一模型的其他量化
| 每个权重的位数 | 权重 | 合计(上限) | 剩余内存 |
|---|---|---|---|
| 16 bit | 14.00 GB | 17.76 GB | -9.71 GB |
| 8 bit | 7.00 GB | 10.06 GB | -2.01 GB |
| 6 bit | 5.25 GB | 8.14 GB | -0.08 GB |
| 5 bit | 4.38 GB | 7.17 GB | 0.88 GB |
| 4 bit | 3.50 GB | 6.21 GB | 1.84 GB |
| 3 bit | 2.63 GB | 5.25 GB | 2.80 GB |
| 2 bit | 1.75 GB | 4.29 GB | 3.77 GB |
我的文件会被上传吗?
不会。一切都在你的浏览器中运行,你的文件永不离开你的设备。这一点如何验证