大規模言語モデルが1トークンずつ答えを生成する間、過去のキーとバリューを保存して再利用する仕組みがKVキャッシュである。@techNmak の33ページの手引きは、これを因果マスク付きアテンションの帰結として基本原理から積み上げた。

本稿は手引きの30節を1つも省かず書き起こし、実在するモデルの設定で式を検算し、API の価格表・SEC の決算・EDINET の有価証券報告書・e-Stat・FRED でこの仕組みが誰の売上と費用になっているかを確かめた。

手引きは「Understanding AI」連載の第2弾で、前提は基本的なアテンションの式と Q・K・V の役割だけである。目標は最適化の暗記ではなく、なぜ再利用が数学的に正しいのか、何の資源を節約し、何の費用が残るのかを説明できるようになることだと冒頭に掲げる。参照文献は Vaswani (2017)、Shazeer (2019)、Ainslie (2023)、DeepSeek-V2 (2024)、Kwon (2023) の5本の論文と、2026年9月時点の vLLM・TensorRT-LLM・NVIDIA Transformer Engine の文書、KVQuant (2024) である。

逐次生成という制約 — なぜ過去のキーとバリューは再利用できるのか

デコーダー型の言語モデルは、既に得たトークンの列を条件に次のトークンの分布 p(xt+1 | x1:t) を出す。選ばれたトークンは列の末尾に足され、次の段階の文脈になる。生成は x1…xt → xt+1 → xt+2 という依存関係の連鎖であり、この逐次性がキャッシュを必要とする (手引き1節)。実行は2つの段階に分かれる。入力のトークンは因果マスクの下で一括して処理でき、これをプリフィル (入力の一括処理) と呼ぶ。生成が始まると、通常は系列ごと・段階ごとに1トークンずつ進み、これをデコード (逐次生成) と呼ぶ。

KVキャッシュの全体像
KVキャッシュの全体像

図1 — 入力から次のトークンまでの流れ、保存される K と V の行列、メモリの式、手引き30節の構成

1つのセルフアテンション層は各トークンの表現 hi から qi = hi WQ、ki = hi WK、vi = hi WV を作る。段階 t の新しいクエリ qt は位置1〜t のキーとバリューを参照する。単純な実装は毎段階、古い ki と v_i を最初から作り直すが、その入力は変わっていない (2節)。因果マスクは未来の位置から過去の位置へ情報が流れるのを防ぐため、位置 i の層状態は後からトークンが足されても変わらない。だから過去のキーとバリューは保持して再利用できる。手引きはこれを「経験則ではなく、因果計算の下で過去の層状態が未来のトークンに対して不変であることの帰結」と明記する。

仕組みは単純である (3節)。位置1〜t−1 を処理済みなら、その層には K1:t−1 と V1:t−1 が保存されている。新しい位置 t では qt、kt、vt だけを計算し、kt と vt を末尾に追加し、qt が累積した履歴に対して softmax(qt K^T / √dh) V を計算する。保存するのは「考え」や記号的な事実ではなく、各アテンション層・各トークン位置の数値的なキーとバリューの状態であり、その物理的な配置は推論基盤の実装次第である。キャッシュは1つの行列ではない (4節)。L 層のモデルは層ごとに K^(l) と V^(l) を持ち、論理的な形は B (同時処理数) × HKV (K/V ヘッド数) × T (保存したトークン数) × Dh (ヘッド次元) である。カーネルは次元を別の順序で並べることがあり、論理的な形で捉えるのが基本で、物理配置は実装の細部にすぎない。

プリフィルとデコード — 4トークンの手順で見る、節約するものとしないもの

2つの段階でキャッシュの作られ方は違う (5節)。プリフィルは入力の多数の位置のキーとバリューを各層で並列に計算し、初期のキャッシュを埋める。デコードは新しいトークンごとに qt、kt、vt を計算し、kt と v_t を追加し、新しいクエリで履歴を参照する。処理する新しい位置は「多数」対「通常1」、キャッシュへの操作は「初期履歴を作る」対「追加する」、アテンションのクエリ長は「多数」対「通常1」、再利用の効果は「状態を作る」対「過去の射影の再計算を避ける」である。手引きが太字で強調するのは、KVキャッシュは履歴へのアテンションをなくさないという点で、新しいクエリは密なアテンションでは依然として過去の K/V 状態と相互作用する。

4トークンの例 (6節) は手順を具体的に示す。位置1〜3が保存されている状態で、モデルはトークン4の表現を受け取り、q4、k4、v4 を計算し、k4 と v4 を層のキャッシュに追加し、q4 を K1:4 と比べ、得たアテンションの重みで V1:4 を混ぜ、その層の出力を後続の層へ渡す。k1〜k3 と v1〜v3 は読まれるだけで再生成されない。

プリフィルとデコード、帯域幅の算術
プリフィルとデコード、帯域幅の算術

図2 — 2つの段階の対比表、Llama 3 70B を B300 で動かす概算、分離推論の設計、混同してはならない3つの資源

何を節約し何を節約しないかは、3つの資源に分けて考える (10節)。計算は射影とアテンションの演算量、容量は K/V を常駐させるバイト数、帯域幅はデコード中にアテンションカーネルへ流すバイト数である。KVキャッシュは過去のキーとバリューの射影と、それを作るのに要した先行層の状態の再計算を避ける。しかし T が伸びれば、新しい位置のアテンションはより長い履歴と相互作用する。MQA が生まれた動機は「パラメータが少ない」ことではなく、逐次生成のたびに大きな K/V テンソルを読み込む帯域幅の費用だった (Shazeer 2019)。

この3資源を数字にすると、推論の採算が見える。本稿の概算では、Llama 3.1 70B (FP8 の重み70GB、KV は FP16) を B300 1個 (HBM 288GB、8TB/s) で動かすと、文脈長8Kで同時1本なら段階ごとに重み70GBと KV 2.6GB を読み、1トークン当たり9.1ミリ秒で毎秒110トークン。文脈長128Kでは KV が40GBに増え、13.8ミリ秒で毎秒73トークン。同時4本なら KV は160GBで4本合計28.8ミリ秒、1本当たり毎秒35トークンに落ちる。同時6本では重み70GBと KV 240GB で容量288GBを超えて収まらない。重みの読み出しは同時本数で分担できるが、KV の読み出しは本数に比例して増える。プリフィルの計算量は2×パラメータ数×入力トークン数で、70B×128K×2 ≒ 1.8×10^16 FLOP、B300 の高密度 FP8 約4.5 PFLOPS で約4秒。これが「最初のトークンまでの時間」を決め、プリフィルとデコードを別の機械に分ける設計の動機になる。

メモリの式 — 2LTH_KV D_h b と、実在モデルに当てはめた1トークン当たりのバイト数

手引きの中心は7節の式である。均一な K/V ヘッド数とヘッド次元を持つ密なアテンションでは、1本の系列のキャッシュは MKV = 2 × L × T × HKV × Dh × b で表される。2はキーとバリューの2つ、L はアテンション層の数、T は保存したトークン数、HKV は K/V ヘッド数、Dh はヘッド次元、b は1要素のバイト数である。長さの違う B 本なら Σ Ti を掛ける。実際の推論基盤はブロック単位で確保し、余白、スケール値、メタデータ、分割配置、モデル固有の状態が加わるため、式はテンソル本体の量であって実行環境が消費する全バイトではない。式が役に立つのは、設計の選択が1つずつ見えるからで、文脈長は T を、MQA/GQA は H_KV を、量子化は b (と量子化のメタデータ) を動かす。

KVキャッシュのメモリ量
KVキャッシュのメモリ量

図3 — 手引きの計算例 (L=32、D_h=128、b=2) と、実在する7モデルの1トークン当たりの量、GPU 1個のメモリ容量

計算例 (8節) は L=32、Dh=128、b=2、HQ=32 のモデルで HKV だけを変える。MHA (HKV=32) は1トークン当たり512 KiB、8,192トークンで4 GiB。GQA (HKV=8) は128 KiB と1 GiB。MQA (HKV=1) は16 KiB と0.125 GiB。GQA の行の検算は 2×32×8,192×8×128×2 = 1,073,741,824 バイトである。文脈長 (9節) を8K、32K、128K に伸ばすと、MHA は4、16、64 GiB、GQA は1、4、16 GiB、MQA は0.125、0.5、2 GiB と線形に増える。重みのメモリは1つのリクエストの文脈で増えないが、リクエストごとの KV 状態は増える。コンテキスト長の仕様は受け付ける長さを示すだけで、あるサーバーが長文のリクエストを同時に何本保持できるかは示さない。

実在のモデルに式を当てはめると、同じ「70B級」でも構造で10倍以上違う。GPT-3 175B は96層・96ヘッド・128次元の MHA で1トークン当たり4.5MB、128K で590GB となり、80GB の H100 には入らない。Llama 2 7B は手引きの計算例と同じ形で512KB。Mistral 7B と Mixtral 8x7B は GQA 8ヘッドで128KB。Llama 3.1 70B は80層・8ヘッド・128次元で320KB、128K で40GB。Qwen3-235B は94層・4ヘッドで192KB。ディープシークの V3 と R1 は MLA で61層に潜在512次元と位置64次元を1組だけ保存し、70KB、128K で8.8GB にとどまる。1トークン当たりの量は、1個の GPU に同時に何人の利用者を収容できるかを直接決める。

ヘッドの共有と表現の圧縮 — MHA・MQA・GQA・MLA、そして位置情報

標準のマルチヘッドアテンション (11節) ではクエリヘッドごとにキーとバリューのヘッドがあり、HKV = HQ である。32本の Q ヘッドがあれば32本の K ヘッドと32本の V ヘッドがあり、K/V の表現力は高いが、キャッシュはヘッド数に比例して増える。MQA (12節) は複数の Q ヘッドを保ちながら K と V を1組に共有する (HQ > 1、HKV = 1)。Q ヘッドは別々のままで、削減は K/V の共有によるものだ。32ヘッドの MHA を1ヘッドに減らせば KV の本体は32分の1になるが、それは構造の帰結であり、特定の MQA モデルが品質を保つかは実験で確かめる問題であり、数学的に保証されるものではない。GQA (13節) は Q ヘッドをグループに分け、グループ内で K/V ヘッドを共有する (1 < HKV < HQ)。Ainslie らは MQA の一般化として GQA を導入し、追加学習した GQA モデルが MHA に近い品質と MQA に近い速度を示したと報告したが、手引きは「GQA は MHA と同等」は広すぎる主張で、裏付けられるのは論文の設定に限った主張だと釘を刺す。

K/V ヘッドの共有と圧縮
K/V ヘッドの共有と圧縮

図4 — MHA・GQA・MQA の共有構造と MLA の潜在表現、構造ごとのメモリ比と代表モデル、位置情報の扱い

L、T、Dh、b を固定すれば MKV ∝ H_KV である (14節)。同じパラメータ規模と文脈長でも、K/V の表現によってキャッシュの要件は大きく違うため、KVキャッシュはアテンションの構造と切り離して論じられない。MLA (15節) は DeepSeek-V2 が導入した別の手法で、位置に依存しない K/V の情報を低次元の潜在状態で表し、推論時には射影の吸収によって各ヘッドの K/V テンソルを従来の形で実体化して保存することを避ける。MQA が1組の共有、GQA が少数の共有であるのに対し、MLA は低ランクの潜在圧縮である。DeepSeek-V2 が報告した93.3%の削減は同論文の比較対象に対する数字で、一般に通用する「MLA の圧縮率」ではない。通常の回転位置埋め込み (RoPE) は射影吸収と干渉するため、DeepSeek-V2 は位置成分を分離して持つ。「MLA は小さなベクトルを1本保存する」という要約が不完全なのはこのためである。

位置情報 (16節) は保存したキーの整合性を問う。標準の RoPE は Q と K に位置依存の回転を掛けてから内積を取るため、後から来るクエリが期待する位置の扱いと、保存した履歴のキーは整合していなければならない。実装上の考え方は、新しい位置のキーを計算し、アテンションの実装が求める位置変換を施し、将来のアテンション計算が期待する形で保存する、である。「KVキャッシュは常に RoPE 適用後の K を保存する」と定義してはいけない。表現は構造と実装に依存し、MLA の分離した位置成分がその最も明確な例である。本誌が9月に書いたKimi Linear の3対1設計は、線形アテンション3層に全層アテンション1層を混ぜて KV を75%減らす別の手法で、同じ式の H_KV と層数の項を設計で動かした例である。

1本のリクエストからサーバーへ — 断片化、PagedAttention、ブロック長

1本のリクエストの話は単純で、トークンを処理するほどキャッシュが伸びる。サーバーには入力長、生成長、到着時刻、完了時刻の違う多数のリクエストがある (17節)。ある瞬間に、始まったばかりの系列、数万トークンを保存した系列、終わって領域を返すリクエスト、プレフィックスを共有するリクエスト、アテンションの窓が違うリクエストを同時に扱う。KVキャッシュはテンソルから動的なメモリ管理の問題へ変わる。PagedAttention の論文は、当時の推論基盤で断片化と重複が KV 容量の主な無駄だと特定し、仮想メモリに着想を得たブロック方式を提案した。

サーバー側のキャッシュ管理
サーバー側のキャッシュ管理

図5 — PagedAttention のブロック表、プレフィックスの再利用と限界と安全性、追い出し、退避の階層、量子化、6つの誤解と5つの問い

断片化 (18節) は2種類ある。リクエストごとに最大長で連続領域を確保すると、予約したが届かない領域と、合計は足りるのに個々が小さくて大きなリクエストに使えない空き (外部断片化) が生じる。PagedAttention (19節) は系列を論理的なブロックに分け、それを任意の空き物理ブロックに置く。ブロック表が論理から物理への対応を持ち、リクエストが伸びれば確保し、不要になれば解放し、関連する系列でブロックを共有する。Kwon らの論文では、従来方式が KV 容量の60〜80%を無駄にしていたのに対し、PagedAttention は無駄を4%未満に抑え、処理能力を2〜4倍に高めた。手引きは PagedAttention がメモリ配置の話であり、入出力を考慮したアテンションカーネルである FlashAttention とは別物だと念を押す。ブロック長 (20節) には固有のトレードオフがあり、小さいほど末尾の無駄が減って再利用が細かくなり、大きいほど管理が軽くカーネルや転送に合いやすい。万能の最適値はなく、残る考え方は「論理的なトークンの履歴 ≠ 1つの連続した物理確保」である。

プレフィックスの再利用 — 何を省き、何を省かず、誰と共有してよいか

通常のキャッシュは1つのリクエストの中で過去の状態を再利用する。プレフィックスキャッシュ (21節) はさらに進み、後のリクエストが以前に計算したプレフィックス (共通の先頭部分。システム指示、同じ長い文書、繰り返し送られる会話履歴) を持つなら、そのプリフィルを再計算せず保存したブロックを使う。現在の vLLM はプレフィックスとブロック内容のハッシュに、正しさに必要な実行文脈を加えて自動的に照合する。これは一致した計算のプレフィックスに対する厳密な状態の再利用であり、意味の類似検索でも RAG でもない。

限界 (22節) は明確で、減るのはプレフィックスのプリフィル時間であり、生成がプレフィックスを越えた後のトークンは普通にデコードされる。vLLM の文書は「自動プレフィックスキャッシュはプリフィル時間を減らすが、デコード段階の生成時間は減らさない」と明記する。長い回答が主の作業ではプレフィックスが再利用できても効果は小さい。正しさには目に見えるトークンだけでなく、モデルの識別子と設定、アダプター、画像入力、その他の実行状態を照合条件に含める必要がある。安全性 (23節) では、複数の利用者が使うサービスでキャッシュのヒットの有無が遅延を変えるため、無関係な利用者間で共有を許せば、遅延差からある内容が既に保存されているかを推測される。vLLM はリクエストごとの cache_salt を用意し、最初のブロックの識別子に混ぜて同じソルトを持つリクエストだけが再利用できる信頼の境界を作る。原則は1つの基盤を超えて広く、再利用の範囲は信頼の範囲に一致させる。ハッシュの選択も重要で、暗号学的でないハッシュは衝突の危険を増し、共有環境で正しさと機密性の問題を生むと vLLM の文書は警告する。

GPU のキャッシュが満杯になれば追い出し (24節) が起きる。方針に万能の解決策はなく、再利用用のプレフィックスブロックの LRU、優先度付きの LRU、デコード中のリクエストのブロックを守る方針、拡張可能な退避基盤ではアプリケーション側の方針などがある。vLLM は LRU による解放と追い出しの手順を、TensorRT-LLM は再利用ブロックの優先度付き LRU を文書化している。再利用用のブロックを追い出してもモデルの正しさは変わらず、将来のリクエストが再計算を避けられるかが変わるだけだが、進行中の系列が必要とするキャッシュの追い出しは別の話で、実行環境が調整しなければならない。実運用では、共通の指示を使うエージェントで75〜95%のヒット率が報告され、SGLang の RadixAttention は共有プレフィックスが使える作業で最大6.4倍の処理能力を示した。

退避と量子化 — 転送か再計算か、精度か容量か

退避 (25節) は GPU メモリが乏しいとき、再利用可能な KV ブロックを容量は大きいが速度の遅い記憶装置へ移し、必要になれば戻す。一般的な階層は GPU の HBM、CPU のメモリ、二次記憶やネットワークの階層である。vLLM は CPU への退避と、二次階層を CPU 経由で段階的に扱う多段階の設計を持ち、TensorRT-LLM はホストメモリへの退避と外部の KV 保存・転送への接続機能を持つ。退避は実効容量を広げるが、データの移動を生む。役に立つかは再利用の確率、転送の帯域幅と遅延、計算との並行処理、状態を再計算する費用に依存する。「GPU メモリを節約するために CPU へ退避する」は不完全で、本当の判断は保存した状態を転送するか再計算するかである。この判断の産業界での実装が分離推論で、DistServe と Splitwise は同じ遅延目標で4.48倍のリクエストを処理し、NVIDIA Dynamo は NIXL でプリフィル機の VRAM からデコード機の VRAM へ KV を直接転送し、転送中も他のリクエストを処理する。Moonshot AI の Mooncake は KV を中心に据えた分離で、使用頻度の低いページを HBM から DRAM、SSD へ移す。エヌビディアのルービン CPX は当初 GDDR7 128GB のプリフィル専用機として設計され、報道では2027年1〜3月期に HBM4 168GB、2,300W の改訂案へ変わった。SSD 主体の Tutti は LMCache の SSD 構成に比べ費用を66.2%減らした (LooGLE、毎秒0.5リクエスト)。

量子化 (26節) はキーとバリューを低い精度で保存する。16ビットから理想的な8ビットへ移せば要素の本体は半分になるが、実装にはスケール値、整列、メタデータ、基盤固有の配置が要り、実際の節約は理想のビット比に一致しない。vLLM は対応するハードウエアで FP8 の変種を含む複数の KV 型を扱い、量子化スケールの校正手順を文書化している。KVQuant のような研究はさらに低いビットを調べるが、その精度と処理能力の結果は手法・モデル・ハードウエア・評価課題に固有である。量子化は代償を伴う (27節)。PagedAttention の配置や厳密なプレフィックス再利用と違い、保存したテンソルの数値表現を変えるため、以後のアテンション計算に量子化誤差が入る。判断は「節約した容量と帯域幅」と「品質とカーネルの費用」の比較になり、適切な精度はモデルの構造と層の感度、K/V の活性化の分布、文脈長、量子化の粒度とスケール、ハードウエアの対応とカーネルに依存する。vLLM は選んだ層やアテンションの種類だけを量子化しない設定を許し、感度が均一でないことを反映している。実測では FP8 (E4M3) の精度低下は長文検索課題で0.5ポイント未満、INT8 はほぼ無損失、INT4 (KIVI 系) は許容範囲で、K は V より精度に敏感である。

6つの誤解と5つの問い — 手引きが残した本番運用の考え方

手引きは6つの誤解 (28節) を退ける。「KVキャッシュはモデルの記憶」ではなく、トークンの列からアテンション層で導いた一時的な推論状態である。「デコードが定数時間になる」のではなく、過去の K/V の再計算を避けるだけで、新しいクエリの密なアテンションは伸びる履歴と相互作用する。「MQA/GQA は Q ヘッドを減らす」のではなく、Q に対する K/V ヘッドの数と共有を変える。「PagedAttention は FlashAttention」ではなく、前者はメモリ管理、後者はアテンション計算とメモリ移動の効率化である。「プレフィックス再利用で全てのトークンが速くなる」のではなく、再利用できるプレフィックスのプリフィルを省くだけで、新しいトークンのデコードは残る。「KV 量子化は無損失圧縮」ではなく、一般に近似が入る。

本番運用の考え方は5つの問い (29節) に要約される。何を保存するか (どの層の K/V か潜在状態か、どの型と配置か)。1トークン当たりどれだけの状態が生まれるか (L、HKV、Dh、バイト、アテンションの窓、分割)。どこに置くか (連続した GPU テンソル、ページ化ブロック、CPU 退避、遠隔キャッシュ、多層)。いつ再利用できるか (リクエスト内、プレフィックス一致、複数インスタンス、不可)。何が律速か (GPU 容量、帯域幅、転送遅延、再計算、断片化、スケジューラーの負荷)。これらの問いが、数学的な仕組みと、その周りに作られたサービス基盤を切り分ける。全体の連鎖 (30節) は1本の線で結ばれる。因果的な Transformer は過去のトークンから次のトークンを生成する。過去のアテンション層の状態は未来のトークンで変わらないので保持できる。量は 2LTHKV Dh b で伸び、文脈長と同時リクエストが高くつく。MQA/GQA はヘッド数を、MLA は表現を、低精度は要素のバイトを減らす。サービス運用の規模では動的な長さが確保と再利用の問題を生み、ブロック管理が論理と物理を分け、プレフィックスの再利用がプリフィルを省き、追い出しと退避がどのブロックを GPU の近くに残すかを決め、量子化が精度と容量を引き換えにする。KVキャッシュは因果マスク付きアテンションの帰結であり、モデル構造の設計制約であり、実行環境のメモリ管理の問題である。

請求書に現れた再利用の価格 — 読み出し0.1倍、書き込み1.25倍

この仕組みは利用者の請求書に既に載っている。アンソロピックの API では、5分の保持期間でキャッシュに書き込むトークンは通常入力の1.25倍、1時間の保持なら2倍、ヒットしたトークンは0.1倍で課金される。Claude Fable 5.1 は通常入力10ドル (100万トークン当たり) に対し5分書き込み12.50ドル、1時間書き込み20ドル、読み出し0.25ドル (0.025倍)。Opus 5 は5ドル、6.25ドル、10ドル、0.50ドル。Sonnet 5 は読み出し0.20ドル、Haiku 4.5 は0.10ドル。保存できる最小長はモデルで512から4,096トークンまで違い、区切り点はリクエスト当たり4つ、各区切り点から20ブロック遡って既存のキャッシュを探す。保持期間は書き込みか読み出しを行ったリクエストの開始から数え、応答の時間を含む。OpenAI は GPT-5.6 以降で1,024トークン以上のプレフィックスに対し書き込み1.25倍、読み出し0.1倍、保持30分から24時間の選択肢を持ち、文書は「トークンではなく KV テンソルを保持し、先頭のトークンのハッシュで同じ機械へ振り分ける」と説明する。Google の Gemini 3.1 Pro は暗黙のキャッシュで読み出し0.1倍、明示キャッシュの保存料は100万トークン・1時間当たり1〜4.5ドルである。

KVキャッシュの経済性
KVキャッシュの経済性

図6 — 3社のプロンプトキャッシュの価格と費用の例、SEC の決算、HBM のシェア、EDINET の出現回数、e-Stat と FRED

価格の構造は手引きの節と一対一で対応する。書き込みの割増料金は、保存した K/V を提供側の HBM や DRAM に保持期間の間だけ常駐させる費用の対価で、手引きが言う「一時的な推論状態」の価格そのものである。読み出しの0.1倍はプレフィックスのプリフィルを省いた分で、22節の限界と同じく出力トークンには割引がない。費用の例を示すと、10万トークンの契約書に Opus 5 で100回質問する場合、キャッシュなしでは50ドル、5分キャッシュなら書き込み0.625ドルと読み出し4.95ドルで5.58ドル、1時間キャッシュなら5.95ドル、削減率は88〜89%になる。共通の指示を使うエージェントでヒット率が75〜95%なら、費用の大半が読み出しに変わる。

HBM を握る3社と、有価証券報告書に出た「推論」— ハードウエアを売る側の決算

KVキャッシュが常駐する場所は HBM であり、その供給は3社に集中する。Counterpoint の2026年4〜6月期の HBM シェアはSKハイニックス50%、サムスン電子33%、マイクロン18%。SKハイニックスの4〜6月期は売上高79.3兆ウォン (前年同期比257%増)、営業利益60.5兆ウォン (率76%) で、HBM4 の量産出荷を始め約10社と長期契約を結んだ。マイクロンの2026年3〜5月期は売上高414億5,600万ドル、売上総利益350億5,600万ドル (率85%)、営業利益333億1,800万ドルで、HBM4 12段の立ち上げは HBM3E の2倍の速さ、HBM4 で10億ドル超を出荷済みと説明した (SEC XBRL と決算資料)。ハードウエアを売るエヌビディアの2026年4〜7月期は売上高962億2,100万ドル、売上総利益721億4,200万ドル (率75%)、AMD の4〜6月期は115億3,600万ドル、推論向けに GPU を貸し出すコアウィーブは25億7,500万ドルで営業損失4,900万ドル。1トークン当たりの KV 量を減らす設計 (GQA、MLA、量子化) は、そのまま HBM の必要量と、この3社への支払いを減らす設計である。本誌がHot Chips 2026 のメモリーの日で書いた「計算をデータの近くへ寄せる」動きと、RTX PRO 6000 の GDDR7 96GB が示す「1枚で動く AI」は、どちらも KV の置き場所を巡る設計である。

日本側では、EDINET で2026年6月提出の有価証券報告書を機械集計すると、ソフトバンク (9434)が「推論」3回、「GPU」6回、「LLM・大規模言語モデル」20回、「データセンター」30回を数え、「大規模言語モデルの推論機能を API として提供する Inference as a Service を自社の GPU クラウドの機能として構築する」と記した。キオクシア (285A)は「推論」6回、「生成AI」14回で、「2026年には AI が大規模言語モデルの学習から推論へ移行し、推論ワークロードが急増する」と書き、NVIDIA Storage-Next 向けに高性能・低遅延なメモリ拡張を可能にする GP シリーズを挙げた。KV の退避先である SSD を作る会社が、手引きの25節と同じ判断を有報に書いている。IIJ (3774)は「データセンター」92回で、約120億円の海外 GPU 構築案件を獲得した。KDDI (9433)は41回、富士通 (6702)は「生成AI」10回。さくらインターネット (3778)は2026年3月期の売上高353億円 (12.4%増) のうち GPU 基盤が20.3%増で、2027年3月期の売上高を450億円 (27.5%増)、営業利益を15億円と見込む。

e-Stat の鉱工業指数 (2020年=100) では、モス型IC (メモリ) が2025年度の156.1から2026年1〜3月期に143.3へ下がり、ロジックは123.5から130.3へ、半導体製造装置は170.1から185.2へ上がった。FRED では米国の半導体・電子部品の生産指数 (2017年=100) が2026年7月に191.9、半導体の生産者物価は28.99と長期の低下を続け、データ処理・ホスティング業の生産者物価は124.2と上昇している。チップの単価は下がり、保存する側の価格は上がる。KVキャッシュの価格は、この2本の線の間で決まる。

これから確かめる4つの数字

手引きの30節は仕組みを整理したが、価格は動く。第1にプロンプトキャッシュの読み出し倍率で、3社が0.1倍で揃った水準が下がるか、Fable 5.1 の0.025倍が他社に広がるか。第2に HBM4 の供給で、SKハイニックスの長期契約約10社とマイクロンの HBM4 出荷が KV の常駐費用をどう変えるか。第3にルービン CPX の改訂で、プリフィル機に HBM4 168GB を搭載する判断が分離推論の採算を変えるか。第4に日本の有報の「推論」の回数で、2027年6月提出分でソフトバンクの3回、キオクシアの6回がどこまで増えるか。式 2LTHKV Dh b の項は設計者が決めるが、b の価格と HBM の価格は市場が決める。