zh

LLM 显存计算器

检查本地语言模型能否装进你的显存和内存:权重、KV 缓存、缓冲区和卸载分开显示,同时给出 GB 和 GiB,全程本地计算,无需上传。

本计算器提供基于模型的参考性估算,不构成任何金融、税务或法律建议。详见免责声明
  • 埃及
  • 巴基斯坦
  • 巴西
  • 保加利亚
  • 波兰
  • 德国
  • 俄罗斯
  • 法国
  • 韩国
  • 荷兰
  • 肯尼亚
  • 马来西亚
  • 美国
  • 孟加拉国
  • 墨西哥
  • 尼日利亚
  • 欧元区
  • 葡萄牙
  • 日本
  • 瑞典
  • 台湾
  • 泰国
  • 土耳其
  • 乌克兰
  • 西班牙
  • 意大利
  • 印度
  • 印度尼西亚
  • 英国
  • 越南
  • 中国
内存类型
  • 带独立显存的显卡
  • 共享内存(统一内存)
  • 仅 CPU,无 GPU
GPU 数量
每张 GPU 的显存(GiB)
在多张 GPU 间拆分
  • 不拆分:模型必须装进一张 GPU
  • 运行时把层分配到各张 GPU
每张 GPU 为显示和驱动预留(GiB)
系统内存(GiB)
为系统和程序预留的内存(GiB)
操作系统(自由填写)
运行时和版本(自由填写)
模型和版本(自由填写)
总参数量(十亿,MoE 为全部专家)
每个 token 的激活参数(十亿,仅 MoE)
每个权重的位数(量化,有效值)
带 KV 缓存的层数
KV 头数(GQA 下少于查询头)
每个头的维度
使用的上下文(token)
KV 缓存精度
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
并行请求数
运行时缓冲区(GiB,假设)
不确定性(±)
未修改的示例值适用于我的模型和我的电脑

计算结果

仅为示例计算:请修改或确认数值
模型能装下吗?
5.65 GB · 5.26 GiB
所需内存总量
5.08 GB - 6.21 GB (± 10 %)
不确定性区间
3.50 GB · 3.26 GiB
权重
1.07 GB · 1.00 GiB
KV 缓存
1.07 GB · 1.00 GiB
运行时缓冲区(假设)
8.05 GB · 7.50 GiB
可用显存
一张 GPU
GPU 拆分
12.88 GB · 12.00 GiB
空闲系统内存
0.00 GB
卸载到系统内存
仅为示例计算:请修改或确认数值
能完全装下的最大上下文(token)
仅为示例计算:请修改或确认数值
能完全装下的最高位数
未填写(稠密模型)
每个 token 的激活参数(MoE)
7 × 10⁹ × 4 bit ÷ 8
权重计算式
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
KV 缓存计算式
可编辑示例,并非具体模型
模型数值来源
可编辑示例,并非你的电脑
内存数值来源
未填写
模型配置
未填写
操作系统
未填写
运行时
不可用
与公开模型配置对比

内存占用(上限,%)

不作评判可容纳接近上限已超出

同一模型的其他量化

同一模型的其他量化
每个权重的位数权重合计(上限)剩余内存
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
我的文件会被上传吗?

不会。一切都在你的浏览器中运行,你的文件永不离开你的设备。这一点如何验证

无需上传100% 本地处理
内容只属于你第三方无法访问
托管于德国全球内容分发
经独立审计TLS A+ · 标头 A+

语言模型能否在本地运行,首先取决于内存。本计算器把需求拆成几个独立部分:权重(参数量乘以每个权重的位数再除以 8)、所用上下文的 KV 缓存、运行时缓冲区以及可见的不确定性。70 亿参数在 4 位量化下,未计任何额外开销时纯权重就有 3.5 GB。每个大小都显示两次:GB(10⁹ 字节)和 GiB(2³⁰ 字节),因为显卡和内存按二进制计数,而模型文件通常按十进制标注。

KV 缓存随上下文线性增长,并取决于模型架构:2(键和值)乘以层数、KV 头数、头维度、token 数和每个元素的字节数。采用 grouped-query attention 的模型 KV 头少于查询头,所需缓存也相应更少。对于 mixture-of-experts 模型,占用内存的是总参数量,因为所有专家都必须加载;每个 token 的激活参数只决定计算量。表格展示同一模型在其他量化级别下的情况,并给出能完全装下的最大上下文和最高位数。

多张显卡只有在运行时真正把层分配到各卡上时才能相加;如果不支持拆分,两张 8 GiB 的卡并不等于一张 16 GiB 的卡。放不进显存的部分可以卸载到系统内存;结果会给出这部分大小,但不代表任何速度。本工具没有内置模型配置:预填的数值只是可编辑的示例,并非某个具体模型。请填写模型卡中的数据;所有计算都在浏览器中完成,不会保存到任何地方。

免费,无需账户:想算几次就算几次,你输入的内容留在你的设备上。

技术规格

技术规格
输入格式表单输入(无需文件)
处理方式在浏览器中本地处理 (JavaScript)
文件上传无

三步完成

  1. 输入内存类型、每张 GPU 的显存、GPU 数量和拆分方式,以及系统内存和预留量。
  2. 输入模型卡中的数值:参数量、每个权重的位数、层数、KV 头数、头维度和上下文。
  3. 查看结果、权重、KV 缓存和缓冲区的拆分、卸载量以及量化替代方案。

限制: 内存够用并不保证速度,也不保证运行时或驱动的支持。运行时缓冲区和预留量都是假设;不同版本、批大小和后端所需内存有多有少。KV 公式适用于带 GQA/MQA 的常见注意力机制;sliding-window、MLA 或混合架构所需缓存可能少得多。工具未内置任何模型或硬件数据。

常见问题

模型权重需要多少内存?

参数量乘以每个权重的位数,再除以 8。70 亿参数在 4 位下为 3.5 GB,约 3.26 GiB,还要再加上 KV 缓存和缓冲区。带缩放系数的量化格式实际略高于其标称位数;此时请输入有效位数(文件大小的字节数乘以 8 再除以参数量)。

为什么计算器同时显示 GB 和 GiB?

1 GB 等于 10⁹ 字节,1 GiB 等于 2³⁰ 字节,约多 7%。即使包装盒上写的是 GB,显卡和内存也是按二进制计数;模型文件则常按十进制标注。两个数值分开显示,避免在不知不觉中混淆。

两张 8 GB 的显卡等于一张 16 GB 的吗?

只有当运行时把层分配到两张卡上时才是。若不支持拆分,模型必须装进一张卡,计算器也只计算这张卡的显存。即使拆分,每张卡也需要各自的预留量。

计算器如何处理 mixture-of-experts 模型?

内存按总参数量计算,因为所有专家都必须加载。每个 token 的激活参数只作显示,它影响的是计算量,而不是所需空间。

“能装下”是否意味着模型运行很快?

不是。计算器只检查内存。模型的响应速度取决于内存带宽、算力、运行时以及是否卸载。放在系统内存中的部分通常会明显拖慢生成速度。

LLM 显存计算器可以免费、无需账户使用吗?

可以。使用免费,也无需账户:想算几次就算几次,你输入的内容留在你的设备上。

相关工具

AI Token 计算器 · 数据大小转换器 · 电费计算器 · 比较 AI 模型 · 电脑升级与电源规划器 · 内存和 SSD 每 GB 价格