LLM の VRAM 見積もり

機能

• 重みのメモリ：パラメータ数 × 1 パラメータのバイト数（FP32 / TF32 / BF16 / FP16 / FP8 / INT8 / INT4 / INT2）
• KV キャッシュ：2 × 層数 × KV ヘッド数 × ヘッド次元 × 系列長 × バッチ × 要素あたりバイト数
• GQA 対応：KV ヘッド数を独立に指定でき、1/N になれば KV キャッシュも 1/N
• 活性化とフレームワークのオーバーヘッドは経験則で概算し、概算であると明記
• GB（10⁹）と GiB（2³⁰）を併記し、混同しない
• パラメータ数は 0.5B〜671B、カスタムも可
• 8 / 12 / 16 / 24 / 40 / 48 / 80 / 141 GB の各帯で必要枚数を表示

使い方

1. パラメータ数（またはカスタム値）と重みの精度を選びます
2. コンテキスト長とバッチサイズを入力します
3. モデル実際の層数・隠れ次元・アテンションヘッド数・KV ヘッド数を入力します
4. 結果で重み・KV・オーバーヘッド・合計を読み、GPU の参考を確認します

よくある質問

7B の FP16 が 14 GB になるのはなぜ？

7B は 7 × 10⁹ 個のパラメータで、FP16 は 1 個あたり 2 バイト。よって 7 × 10⁹ × 2 = 14 × 10⁹ バイト = 14 GB です。ここでの「B」は 10⁹ であり 2³⁰ ではありません。2³⁰ とすると 15.03 GB になり約 1 GB 多く出ます。

GB と GiB は違うのですか？

違います。GB は 10⁹ バイト、GiB は 2³⁰（約 1.074 × 10⁹）バイトで、後者が約 7.4% 大きい。GPU の表記・クラウドの課金・`nvidia-smi` で口径が揃っていないため、両方を表示します。片方で計算し片方で比較する事故を避けるためです。

GQA の効果はどれくらい？

大きいです。KV キャッシュは KV ヘッド数に比例します。32 ヘッドで KV ヘッドが 8 の GQA なら、KV キャッシュは通常のマルチヘッドの 1/4。長いコンテキストと高い同時実行を両立できるかを左右します。

活性化のオーバーヘッドが概算なのはなぜ？

カーネル実装・並列化方針（テンソル並列・パイプライン並列）・CUDA と推論フレームワークの版に依存し、汎用の厳密式がありません。ここでは 0.5 GB の下限に重みと KV の約 10% を加える経験則を用いています。実際の配備では実測してください。