KVキャッシュ75%減は最適化ではない、Kimi Linearの3対1設計と電力の関係

100万トークンで1.84ミリ秒対11.48ミリ秒、差は文脈長とともに開く

効率については、1トークンを生成するのにかかる時間で示されている。文脈長4,000ではKimi LinearとMLAの差はほとんどない。差が開くのは長い文脈で、128,000で4.8倍、512,000で5.7倍、100万トークンで6.3倍となる。100万トークン時点の実測はKimi Linearが1.84ミリ秒、MLAが11.48ミリ秒である。

この形が意味するのは、短い対話では効率化の恩恵がほぼ生じないことである。恩恵は、長大な資料の読み込み、開発中のプログラム全体の参照、そして長い思考を伴う推論といった、文脈が伸びる用途に集中する。加速の効果が用途によってこれほど偏る以上、「推論費用が6分の1になる」という一般化はできない。

Gated DeltaNetの何を細かくしたのか

KDAの出発点は、2024年12月に公開されたGated DeltaNetである。これは状態空間モデルの減衰ゲートと、デルタ則による記憶の書き換えを組み合わせた線形注意で、古い記憶を減衰させつつ新しい情報で置き換える仕組みを持つ。KDAはこの減衰の刻みを細かくした。有限の状態しか持てない再帰型の記憶において、どの成分をどれだけ忘れるかをより細かく制御できれば、限られた容量の使い方が改善する。

計算の面では、遷移行列に「対角行列に低ランク項を加えた」形(Diagonal-Plus-Low-Rank)の特殊な形を採用し、一定の区切りごとに処理する専用の演算処理を用意した。この形の一般的な扱い方に比べて計算量を大きく削りつつ、古典的なデルタ則との整合を保つ、というのが論文の説明である。ここは実装の質が成果を左右する領域で、同社がKDAの演算処理(カーネル)と推論基盤vLLM向けの実装まで公開した意味は小さくない。手元で再現できる形で公開された演算処理は、追随する研究の速度を上げる。

効率が6.3倍になっても、電力需要が6分の1にならない理由

投資家にとっての本題は、この効率化が発電設備の需要をどう動かすかである。米国のデータセンター需要は、ブルームバーグNEFの推計で2025年末の47ギガワットから、AIチップの出荷計画に基づけば2033年に207ギガワットへ向かう。一方でバンク・オブ・アメリカの試算では、電力会社が確実に上積みできる供給力は今後5年で約93ギガワットにとどまり、100ギガワット超が不足する。この差し引きと敷地内発電という当座の対応は前稿で検証した。

推論効率の改善は、この不足を埋める唯一の需要側の手立てになりうる。ところが数字の作られ方を見ると、そう単純ではない。第1に、ブルームバーグNEFの推計はチップの出荷枚数と1枚あたりの消費電力から組み立てられている。1枚のGPUがより多くのトークンを処理できるようになっても、出荷枚数が減るわけではない。効率化が変えるのは、同じ電力から得られる価値であって、電力そのものの量ではない。

第2に、消費電力は処理の速さに単純には比例しない。GPUは稼働中ほぼ上限に近い電力を引く。生成時間が6.3分の1になれば1トークンあたりの消費電力量は下がるが、空いた時間は次の要求で埋まる。記憶に余裕が生まれれば同時に処理できる要求数が増え、稼働率はむしろ上がる。

第3に、歴史がこれを裏づける。文脈長は8,000から100万へ、思考の長さは数百トークンから数万トークンへ伸びてきた。効率化のたびに、余った分は長い文脈と長い思考へ振り向けられている。石炭の利用効率が上がるほど消費量が増えた19世紀の英国の観察(ジェボンズの逆説)と同じ構図である。

原子力や電源への投資判断にとって、この整理は方向を変えるものではない。効率化は1ワットあたりの処理量を増やすが、必要な発電容量を減らす保証はない。柏崎刈羽6号機の営業運転入りや小型原子炉への期待が示す時間軸と、注意機構の改良が進む時間軸では、後者が桁違いに速い。速い側の改善を理由に遅い側の投資を止めれば、実際には需要が伸びたときに供給が間に合わない。電源側の個別銘柄の位置づけは90銘柄の全数照合で仕分けてある。

メモリーの側で何が起きるか、日本の3社を有価証券報告書で見る

KVキャッシュはGPUに載る広帯域メモリー(HBM)を占める。75%削減が広く実装されれば、同じHBM容量でより多くの要求を処理できるようになる。これはメモリー需要にとって逆風にも見えるが、内訳を分けると話が変わる。HBMを消費するのは、KVキャッシュだけではない。モデルの重みそのもの、学習時の勾配と最適化の状態、そして推論時の中間結果がある。480億パラメータのモデルでも重みは数十ギガバイト規模を占め、この部分は注意機構の改良では減らない。

日本勢の立ち位置を有価証券報告書の実数で確認する。EDINETから2026年3月期を取ると、キオクシアホールディングスは売上収益2兆3,376億円・営業利益8,704億円。同社の主力はNAND型フラッシュメモリーで、KVキャッシュの増減が直接効く領域ではなく、長期保存側の需要を受ける。HBMの検査で恩恵を受けるアドバンテストは売上1兆1,286億円・営業利益4,991億円・研究開発費781億円。積層数が増えるほど検査工程は重くなるため、KVキャッシュが減ってもHBMの積層競争が続く限り需要は残る。装置側の東京エレクトロンは売上2兆4,435億円・営業利益6,249億円・研究開発費2,779億円である。

メモリーの市況そのものは、供給側の事情で締まっている。DDR5の指標品は2026年7月に1個24ドルと調査開始以来の高値を付け、大手2社が利幅の大きいHBMへ生産能力を寄せた結果、汎用品が構造的に不足した。この経緯と中国勢の追い上げは別稿で追っている。注意機構の改良が需要側を数割動かしても、供給側の逼迫が数年単位で続く構図は変わらない。

480億の重みが公開されたことの意味

論文と同時に、KDAのカーネル、vLLM向けの実装、そして事前学習済みと指示調整済みの重みが公開された。総パラメータ480億・活性パラメータ30億という規模は、最前線の巨大モデルには遠く及ばない一方、単体のGPUサーバーで動かせる範囲にある。研究機関でも企業の実験環境でも、そのまま試せる大きさで公開された点に、この公開の実務的な価値がある。

日本の事業者にとっての含意は具体的である。長文脈の処理費用が下がれば、社内文書や設計資料を丸ごと読ませる用途の採算が変わる。100万トークンの文脈を1トークンあたり1.84ミリ秒で処理できるなら、10万トークンの資料を読ませて1万トークンを生成する処理は、生成側だけで18秒台に収まる。同じ処理を従来型で行えば2分近くかかる。この差は、社内で常時動かす仕組みを作れるかどうかの境目に位置する。

観察点を3つに絞る。第1に、3対1という比率が他の研究陣によって追試され、削減率と成績の兼ね合いがどこで折り合うか。第2に、線形注意の混成が最前線の規模でも成立し続けるか、すなわち検証用の規模で見えた優位が規模を拡大しても保たれるか。第3に、推論費用の低下が長い文脈と長い思考へ振り向けられる速さである。1トークンあたりの費用が下がっても、1回の処理で使うトークン数がそれ以上に増えれば、データセンターに必要な電力は減らない。設計図の上で確定した75%と、現場で測られる消費電力は、別の数字である。