zh-Hant

LLM VRAM 計算機

檢查本機語言模型能否放進你的 VRAM 和記憶體:權重、KV 快取、緩衝區與卸載分開列出,並同時以 GB 和 GiB 顯示,全程在本機計算,無需上傳。

本計算器提供以模型為基礎的參考性估算,不構成任何金融、稅務或法律建議。詳見免責聲明
  • 土耳其
  • 中國
  • 巴西
  • 巴基斯坦
  • 日本
  • 台灣
  • 印尼
  • 印度
  • 西班牙
  • 奈及利亞
  • 孟加拉
  • 法國
  • 波蘭
  • 肯亞
  • 俄羅斯
  • 保加利亞
  • 美國
  • 英國
  • 埃及
  • 泰國
  • 烏克蘭
  • 馬來西亞
  • 荷蘭
  • 越南
  • 瑞典
  • 義大利
  • 葡萄牙
  • 德國
  • 歐元區
  • 墨西哥
  • 韓國
記憶體類型
  • 具獨立 VRAM 的顯示卡
  • 共享記憶體(統一記憶體)
  • 僅 CPU,無 GPU
GPU 數量
每張 GPU 的 VRAM(GiB)
分割到多張 GPU
  • 不分割:模型必須放進一張 GPU
  • 執行環境把層分配到各張 GPU
每張 GPU 為顯示與驅動程式保留(GiB)
系統記憶體(GiB)
為系統與程式保留的記憶體(GiB)
作業系統(自由填寫)
執行環境與版本(自由填寫)
模型與版本(自由填寫)
總參數量(十億,MoE 為所有專家)
每個 token 的啟用參數(十億,僅 MoE)
每個權重的位元數(量化,有效值)
具 KV 快取的層數
KV 頭數(GQA 下少於查詢頭)
每個頭的維度
使用的上下文(token)
KV 快取精度
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
平行請求數
執行環境緩衝區(GiB,假設)
不確定性(±)
未修改的範例值適用於我的模型和我的電腦

計算結果

僅為範例計算:請修改或確認數值
模型放得下嗎?
5.65 GB · 5.26 GiB
所需記憶體總量
5.08 GB - 6.21 GB (± 10 %)
不確定性區間
3.50 GB · 3.26 GiB
權重
1.07 GB · 1.00 GiB
KV 快取
1.07 GB · 1.00 GiB
執行環境緩衝區(假設)
8.05 GB · 7.50 GiB
可用 GPU 記憶體
一張 GPU
GPU 分割
12.88 GB · 12.00 GiB
可用系統記憶體
0.00 GB
卸載到系統記憶體
僅為範例計算:請修改或確認數值
能完全放入的最大上下文(token)
僅為範例計算:請修改或確認數值
能完全放入的最高位元數
未填寫(稠密模型)
每個 token 的啟用參數(MoE)
7 × 10⁹ × 4 bit ÷ 8
權重計算式
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
KV 快取計算式
可編輯範例,並非特定模型
模型數值來源
可編輯範例,並非你的電腦
記憶體數值來源
未填寫
模型設定檔
未填寫
作業系統
未填寫
執行環境
無法使用
與公開模型設定檔比較

記憶體使用率(上限,%)

不作評斷可容納接近上限已超出

同一模型的其他量化

同一模型的其他量化
每個權重的位元數權重合計(上限)剩餘記憶體
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
我的檔案會被上傳嗎?

不會。一切都在你的瀏覽器中執行,你的檔案永遠不會離開你的裝置。這一點如何查證

無需上傳100% 本機處理
內容只留在你這裡第三方無法存取
託管於德國全球內容傳遞
通過獨立稽核TLS A+ · 標頭 A+

語言模型能否在本機執行,首先取決於記憶體。本計算機把需求拆成幾個獨立部分:權重(參數量乘以每個權重的位元數再除以 8)、所用上下文的 KV 快取、執行環境的緩衝區,以及看得見的不確定性。70 億參數在 4 位元量化下,尚未加上任何額外負擔時,純權重就有 3.5 GB。每個大小都會顯示兩次:GB(10⁹ 位元組)和 GiB(2³⁰ 位元組),因為顯示卡和記憶體以二進位計算,而模型檔案通常以十進位標示。

KV 快取會隨上下文線性成長,並取決於模型架構:2(鍵與值)乘以層數、KV 頭數、頭維度、token 數和每個元素的位元組數。採用 grouped-query attention 的模型,KV 頭少於查詢頭,所需快取也相對較少。對 mixture-of-experts 模型而言,佔用記憶體的是總參數量,因為所有專家都必須載入;每個 token 的啟用參數只決定運算量。表格列出同一模型在其他量化等級下的情況,並提供能完全放入的最大上下文與最高位元數。

多張顯示卡只有在執行環境確實把層分配到各卡上時才能相加;若不支援分割,兩張 8 GiB 的卡並不等於一張 16 GiB 的卡。放不進 GPU 記憶體的部分可以卸載到系統記憶體;結果會列出這部分大小,但不代表任何速度。本工具沒有內建模型設定檔:預先填入的數值只是可編輯的範例,並非特定模型。請填入模型卡中的資料;所有計算都在瀏覽器中完成,不會儲存在任何地方。

免費,不需帳號:想算幾次就算幾次,你輸入的內容留在你的裝置上。

技術規格

技術規格
輸入格式表單輸入(無需檔案)
處理方式在瀏覽器中本機處理 (JavaScript)
檔案上傳無

三個步驟

  1. 輸入記憶體類型、每張 GPU 的 VRAM、GPU 數量與分割方式,以及系統記憶體和保留量。
  2. 輸入模型卡中的數值:參數量、每個權重的位元數、層數、KV 頭數、頭維度與上下文。
  3. 查看結果、權重、KV 快取與緩衝區的分配、卸載量以及量化替代方案。

限制: 記憶體足夠並不保證速度,也不保證執行環境或驅動程式的支援。執行環境緩衝區和保留量都是假設;依版本、批次大小與後端不同,所需記憶體會增減。KV 公式適用於含 GQA/MQA 的一般注意力機制;sliding-window、MLA 或混合架構所需快取可能少得多。本工具未內建任何模型或硬體資料。

常見問題

模型權重需要多少記憶體?

參數量乘以每個權重的位元數,再除以 8。70 億參數在 4 位元下為 3.5 GB,約 3.26 GiB,之後還要加上 KV 快取和緩衝區。帶有縮放係數的量化格式實際略高於標稱位元數;此時請輸入有效位元數(以位元組計的檔案大小乘以 8 再除以參數量)。

為什麼計算機同時顯示 GB 和 GiB?

1 GB 等於 10⁹ 位元組,1 GiB 等於 2³⁰ 位元組,約多 7%。即使包裝盒上寫的是 GB,顯示卡和記憶體仍以二進位計算;模型檔案則常以十進位標示。兩個數值分開顯示,避免在不知不覺中混用。

兩張 8 GB 的顯示卡等於一張 16 GB 的嗎?

只有在執行環境把層分配到兩張卡上時才是。若不支援分割,模型必須放進一張卡,計算機也只計算這張卡的記憶體。即使分割,每張卡也需要各自的保留量。

計算機如何處理 mixture-of-experts 模型?

記憶體以總參數量計算,因為所有專家都必須載入。每個 token 的啟用參數只會顯示,它影響的是運算量,而不是所需空間。

「放得下」代表模型會跑得很快嗎?

不是。計算機只檢查記憶體。模型的回應速度取決於記憶體頻寬、運算能力、執行環境以及是否卸載。放在系統記憶體中的部分通常會明顯拖慢輸出。

LLM VRAM 計算機可以免費、不需帳號使用嗎?

可以。使用免費,也不需帳號:想算幾次就算幾次,你輸入的內容留在你的裝置上。

相關工具

AI Token 試算 · 資料大小轉換器 · 電費計算器 · 比較 AI 模型 · 電腦升級與電源規劃工具 · 記憶體與 SSD 每 GB 價格