KVキャッシュとは
読み: けーぶいきゃっしゅ KV Cache AI計算資源・大規模モデルの用語
KVキャッシュとは、生成中に過去の文脈の計算結果を蓄えるメモリー領域。文脈長に比例してGPUメモリーを食うため、「128k対応」の物理的な裏側にあたる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
…KVキャッシュの読み出しとメモリ帯域が別途効くためで、DeepSeek-V3とKimi K2はいずれもMLAという機構でKVキャッシュ側を圧縮している。 あまり語られない要点 — 「総パラメータ」は看板の数字になった 推論原価と応答速度を決めるのは有効パラメータ (1トークンあたり実際に動く量) とメモリ帯域 「1兆パラメータ」でも有効32Bなら、推論の重さは中型モデル並み。逆に密結合405Bは看板より遥かに重い モデル比較の見出しの数字だけで優劣・原価を判断すると、ほぼ確実に誤る 3.3 訓練の3段階 — 事前学習・教師あり微調整・強化学習 「訓練」は1つの工程ではなく、性質の違う3段階の積み重ねである。計算量の9割以上は第1段階に集中する。 公表例では、DeepSeek-V3の全訓練が H800 GPU で約279万GPU時間・約558万ドル (うち事前学習は約266万GPU時間・約…
第III部 経済 ④ 収益化の構造 — トークンはどう金に変わるか
モデル提供社の収益は大きく個人購読 (月額定額) と企業向けトークン従量課金 (API) の2本柱で、 これに大企業向けの専用容量契約が加わる。価格を決める変数は有効パラメータ量・文脈長・速度の3つに集約される。 4.1 個人購読 — 定額制は「保険」の商売である 月額20ドル前後の購読は、軽い利用者の払い過ぎが重い利用者の原価を補助する保険型の収益構造である。 提供側は利用上限・混雑時制限で重利用者の原価を抑え、全体で粗利を成立させる。 解約率が低く売上が読めるため、資本市場はAPI売上より購読売上を高く評価する傾向がある。 4.2 トークン従量課金 — 価格表の読み方 API価格は「入力100万トークンあたり / 出力100万トークンあたり」で表示される。 出力が入力の約5倍高いのは気まぐれではなく、入力の読込 (プリフィル) は一括並列で安く処理できるのに対し、 出力の生成 (デコー…
関連する用語
KVキャッシュを扱った検証記事
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)