ja

LLM VRAM計算

ローカルの言語モデルがVRAMとRAMに収まるかを確認。重み、KVキャッシュ、バッファ、オフロードを分けてGBとGiBで表示。ブラウザ内で完結し、アップロード不要。

この計算ツールはモデルに基づく参考的な試算を示すものであり、金融・税務・法務の助言ではありません。免責事項で詳しく見る
  • アメリカ合衆国
  • イギリス
  • イタリア
  • インド
  • インドネシア
  • ウクライナ
  • エジプト
  • オランダ
  • ケニア
  • スウェーデン
  • スペイン
  • タイ
  • ドイツ
  • トルコ
  • ナイジェリア
  • パキスタン
  • バングラデシュ
  • ブラジル
  • フランス
  • ブルガリア
  • ベトナム
  • ポーランド
  • ポルトガル
  • マレーシア
  • メキシコ
  • ユーロ圏
  • ロシア
  • 韓国
  • 台湾
  • 中国
  • 日本
メモリの種類
  • 専用VRAMを持つグラフィックカード
  • 共有メモリ(ユニファイドメモリ)
  • CPUのみ(GPUなし)
GPUの数
GPUごとのVRAM(GiB)
複数GPUへの分割
  • なし:モデルは1つのGPUに収まる必要がある
  • ランタイムがレイヤーを各GPUに分割する
画面表示とドライバー用のGPUごとの予備(GiB)
システムRAM(GiB)
OSとアプリ用のRAM予備(GiB)
OS(自由入力)
ランタイムとバージョン(自由入力)
モデルとリビジョン(自由入力)
総パラメーター数(10億単位、MoEは全エキスパート)
トークンごとのアクティブパラメーター(10億単位、MoEのみ)
1重みあたりのビット数(量子化、実効値)
KVキャッシュを持つレイヤー数
KVヘッド数(GQAではクエリヘッドより少ない)
ヘッドごとの次元
使用するコンテキスト(トークン)
KVキャッシュの精度
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
同時リクエスト数
ランタイムのバッファ(GiB、仮定)
不確かさ(±)
変更していない例の値は自分のモデルとコンピューターに当てはまる

計算結果

例としての計算のみ:値を変更するか確定してください
モデルは収まるか
5.65 GB · 5.26 GiB
必要なメモリの合計
5.08 GB - 6.21 GB (± 10 %)
不確かさの範囲
3.50 GB · 3.26 GiB
重み
1.07 GB · 1.00 GiB
KVキャッシュ
1.07 GB · 1.00 GiB
ランタイムのバッファ(仮定)
8.05 GB · 7.50 GiB
使えるGPUメモリ
GPU 1つ
GPUの分割
12.88 GB · 12.00 GiB
空きシステムRAM
0.00 GB
システムRAMへのオフロード
例としての計算のみ:値を変更するか確定してください
完全に収まる最大コンテキスト(トークン)
例としての計算のみ:値を変更するか確定してください
完全に収まる最大ビット数
未入力(密なモデル)
トークンごとのアクティブパラメーター(MoE)
7 × 10⁹ × 4 bit ÷ 8
重みの計算式
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
KVキャッシュの計算式
編集できる例(特定のモデルではない)
モデル値の出どころ
編集できる例(あなたのコンピューターではない)
メモリ値の出所
未指定
モデルプロファイル
未指定
OS
未指定
ランタイム
利用不可
公開モデルプロファイルとの比較

メモリ使用率(上限、%)

評価なし収まる余裕なし超過

同じモデルの別の量子化

同じモデルの別の量子化
1重みあたりのビット数重み合計(上限)残りのメモリ
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
私のファイルはアップロードされますか?

いいえ。すべてブラウザ内で動作します。あなたのファイルが端末から出ることはありません。これが検証できる理由

アップロード不要100%ローカル処理
中身は手元のまま第三者のアクセスなし
ドイツでホスティンググローバル配信
第三者による検証済みTLS A+ · ヘッダー A+

言語モデルをローカルで動かせるかどうかは、まずメモリで決まります。この計算ツールは必要量を別々の部分に分けます。重み(パラメーター数×1重みあたりのビット数÷8)、使用するコンテキストのKVキャッシュ、ランタイムのバッファ、そして目に見える不確かさです。70億パラメーターを4ビットにすると、オーバーヘッドを加える前の純粋な重みだけで3.5 GBになります。各サイズはGB(10⁹バイト)とGiB(2³⁰バイト)の両方で表示します。グラフィックカードやメモリは2進数で数えられる一方、モデルファイルは10進数で表記されることが多いためです。

KVキャッシュはコンテキストに比例して増え、アーキテクチャに従います。2(キーと値)×レイヤー数×KVヘッド数×ヘッド次元×トークン数×1要素あたりのバイト数です。Grouped-Query Attentionを使うモデルはクエリヘッドよりKVヘッドが少なく、その分キャッシュも小さくて済みます。Mixture-of-Expertsモデルでは、すべてのエキスパートを読み込む必要があるため、メモリには総パラメーター数が効きます。トークンごとのアクティブパラメーターは計算量を決めるだけです。表には同じモデルを別の量子化レベルにした場合を示し、完全に収まる最大のコンテキストと最も高いビット数も表示します。

複数のグラフィックカードは、ランタイムが実際にレイヤーを各カードへ分割する場合にだけ合算されます。対応した分割がなければ、8 GiBのカード2枚は16 GiBのカード1枚にはなりません。GPUメモリに収まらない部分はシステムRAMへオフロードできます。結果ではその量を示しますが、速度については何も言いません。モデルのプロファイルは組み込まれていません。最初に入っている値は編集できる例であり、特定のモデルではありません。モデルカードの値を入力してください。計算はすべてブラウザ内で行われ、どこにも保存されません。

無料でアカウント不要。何度でも計算でき、入力した内容は端末に残ります。

技術仕様

技術仕様
入力形式フォーム入力(ファイル不要)
処理ブラウザ内でローカル処理 (JavaScript)
ファイルのアップロードなし

3ステップで

  1. メモリの種類、GPUごとのVRAM、GPUの数と分割、システムRAMと予備容量を入力します。
  2. モデルカードの値を入力します。パラメーター数、1重みあたりのビット数、レイヤー数、KVヘッド数、ヘッド次元、コンテキストです。
  3. 結果と、重み・KVキャッシュ・バッファの内訳、オフロード量、量子化の代替案を確認します。

制限: メモリに収まることは、速度やランタイム、ドライバーの対応を保証するものではありません。ランタイムのバッファと予備容量は仮定であり、バージョン、バッチサイズ、バックエンドによって必要量は増減します。KVの式はGQA/MQAを含む一般的なアテンションを前提としています。Sliding-Window、MLA、ハイブリッド構造ではキャッシュが大幅に少なくなることがあります。モデルやハードウェアのデータは組み込まれていません。

よくある質問

モデルの重みにはどれくらいのメモリが必要ですか?

パラメーター数×1重みあたりのビット数÷8です。70億パラメーターを4ビットにすると3.5 GB、約3.26 GiBで、ここにKVキャッシュとバッファが加わります。スケール係数を持つ量子化形式は公称ビット数より少し大きくなるため、その場合は実効ビット数(ファイルサイズのバイト数×8÷パラメーター数)を入力してください。

なぜGBとGiBの両方を表示するのですか?

1 GBは10⁹バイト、1 GiBは2³⁰バイトで、約7%大きくなります。グラフィックカードやメモリは、箱にGBと書かれていても2進数で数えられます。一方、モデルファイルは10進数で表記されることが多いです。気づかないうちに混同しないよう、両方を分けて表示します。

8 GBのグラフィックカード2枚は16 GBの1枚と同じですか?

ランタイムがレイヤーを両方のカードに分割する場合だけです。対応した分割がなければ、モデルは1枚のカードに収まる必要があり、計算ツールもそのカードのメモリだけを数えます。分割する場合でも、各カードにそれぞれ予備容量が必要です。

Mixture-of-Expertsモデルはどう計算しますか?

すべてのエキスパートを読み込む必要があるため、メモリには総パラメーター数を使います。トークンごとのアクティブパラメーターは表示するだけで、影響するのは計算量であり、必要な容量ではありません。

「収まる」ならモデルは速く動きますか?

いいえ。この計算ツールが確認するのはメモリだけです。モデルの応答速度は、メモリ帯域、計算性能、ランタイム、オフロードの有無によって決まります。一部がシステムRAMにあると、出力は通常かなり遅くなります。

「LLM VRAM計算」は無料で、アカウントなしで使えますか?

はい。無料で、アカウントも不要です。何度でも計算でき、入力した内容は端末に残ります。

関連ツール

AIトークン計算 · データサイズ変換ツール · 電気代シミュレーター · AIモデルを比較 · PCアップグレード・電源プランナー · RAM と SSD の GB あたり価格