LLM VRAM計算
ローカルの言語モデルがVRAMとRAMに収まるかを確認。重み、KVキャッシュ、バッファ、オフロードを分けてGBとGiBで表示。ブラウザ内で完結し、アップロード不要。
- アメリカ合衆国
- イギリス
- イタリア
- インド
- インドネシア
- ウクライナ
- エジプト
- オランダ
- ケニア
- スウェーデン
- スペイン
- タイ
- ドイツ
- トルコ
- ナイジェリア
- パキスタン
- バングラデシュ
- ブラジル
- フランス
- ブルガリア
- ベトナム
- ポーランド
- ポルトガル
- マレーシア
- メキシコ
- ユーロ圏
- ロシア
- 韓国
- 台湾
- 中国
- 日本
計算結果
メモリ使用率(上限、%)
同じモデルの別の量子化
| 1重みあたりのビット数 | 重み | 合計(上限) | 残りのメモリ |
|---|---|---|---|
| 16 bit | 14.00 GB | 17.76 GB | -9.71 GB |
| 8 bit | 7.00 GB | 10.06 GB | -2.01 GB |
| 6 bit | 5.25 GB | 8.14 GB | -0.08 GB |
| 5 bit | 4.38 GB | 7.17 GB | 0.88 GB |
| 4 bit | 3.50 GB | 6.21 GB | 1.84 GB |
| 3 bit | 2.63 GB | 5.25 GB | 2.80 GB |
| 2 bit | 1.75 GB | 4.29 GB | 3.77 GB |
私のファイルはアップロードされますか?
いいえ。すべてブラウザ内で動作します。あなたのファイルが端末から出ることはありません。これが検証できる理由