未公開の前身が、すでに社内の最適化を担っていた ― Kimi K3技術報告書の解剖

93層が、すべての過去の層を振り返る配線

深いネットワークには、情報が層から層へ順送りされるうちに薄まるという弱点がある。数十層を経ると、最下層が学んだ内容は伝言を重ねた末の言葉のようになる。

注意残差は、各層が中間のすべての層を飛び越えて、最初の入力と、それ以前の任意の層の出力を直接取り出せるようにする仕組みである。組み立て工程の作業者が、直前の工程から回ってきた半製品しか受け取れないのではなく、倉庫の原材料と過去のあらゆる工程の成果物を必要に応じて引き出せる状態にあたる。どの層を振り返るかは、層ごとに用意された学習可能な疑似クエリが決める。

93層すべてがそれ以前のすべてを参照できるとき、接続の総数は93×94を2で割った4,371本になる。深いネットワークにおける情報の流れが、一本の伝言ゲームから、内容に応じて引き出せる網目に変わる。

896個から16個だけを起こして、崩れないようにする

幅の方向はMoE(エキスパート混合)である。巨大なモデルを多数のエキスパートの小さなネットワークに分け、いま処理している語に応じてそのうち数個だけを起こす。896人の医師がいる病院で、患者ごとに最も適した16人だけを呼び出す構成にあたる。名目上の規模は巨大でも、1回の診察にかかる実際の人件費は小さい。1兆を超える規模のモデルが動かせる理由がここにある。

K3のStable LatentMoEは、振り分け先のエキスパートを896個まで広げ、1トークンあたり16個を起こす。比率にして1.79パーセント、総数の2パーセントに満たない。

疎さをここまで高めると学習が崩れやすくなる。最も典型的な故障はエキスパートの偏りで、一部が奪い合いになって過負荷になり、一部は使われないままパラメータだけを占める。K3はQuantile Balancingという手法を採り、振り分けの点数の分位数から配分を導く。従来の手法にあった、敏感で調整の難しい均衡用のハイパーパラメータを、この方式は不要にした。正規化とSiTU-GLUという新しい活性化関数を組み合わせ、極端に疎い構成を学習中に安定させている。

対照表を割り算すると見えてくる、増やし方の偏り

K2からK3への変化を並べた対照表は、この設計の性格をよく表す。層数は61から93へ52パーセント増、総パラメータは1兆400億から2兆7,800億へ167パーセント増、活性パラメータは326億から1,042億へ220パーセント増、振り分け先のエキスパートは384個から896個へ133パーセント増、1トークンあたりの1回に起こす数は8個から16個へ倍増、学習時の文脈は12万8,000から100万へ8倍、注意機構は純粋なMLAから混合型のKDA-MLAへ置き換わった。

ここに、ほとんど指摘されていない数字がある。総パラメータの伸び167パーセントに対し、活性パラメータの伸びは220パーセントで、活性側のほうが速く増えている。割り算すると、K2は1兆400億のうち326億を起こしていたので3.13パーセント、K3は2兆7,800億のうち1,042億で3.75パーセントになる。

つまりエキスパートの選び方は疎くなった(2.08パーセントから1.79パーセントへ)のに、モデル全体として1トークンあたりに動くパラメータの割合はむしろ増えている。この2つの数字が逆方向に動くのは、共有エキスパートと注意機構側のパラメータが、振り分けの対象外で常に動くためだ。「16個だけ起こすから安い」という説明は、エキスパートの層についてのみ正しい。実際の計算量は、エキスパートの疎さだけでは決まらない。

2.5倍という効率は、何を測った数字か

スケーリング効率の2.5倍は、同じ計算資源からどれだけの知能を取り出せるかを指す。報告書が示すのは、横軸に計算量、縦軸に検証用の損失を取った図で、損失は低いほどよい。同じ損失の水準に到達するのに、K3はK2のおよそ5分の2の計算量で足りる。

この指標が費用に直結する。学習に投じる計算資源が同じなら、到達できる性能が上がる。逆に到達したい性能が決まっているなら、投じる計算資源が5分の2で済む。学習の1回が巨額になる領域では、この倍率が投資の効率をそのまま決める。

100万トークンを、どう食べさせたか

文脈をK2の12万8,000から100万へ広げる作業は、設定値を書き換えれば済むものではない。

本当に長くて筋の通った文書や動画はまれである。世の中に出回る長い内容の多くは、重複か、途中で切れたものか、機械が吐いた記録の類だ。K3はまず専用の選別工程でこの雑音を落とし、質の高い長文を意図的に増やして、大量の短文に埋もれないようにした。

長い文書があるだけでは足りない。長さそのものは長距離の能力とは違う。そこで開発チームは、複数の文書と部分課題を意図的に混ぜて縫い合わせ、100万トークン全体にまたがって散らばった情報をつなぎ合わせなければ解けない課題を、なかに埋め込んだ合成データを用意した。目先だけを見て済ませる近道を、データの側から塞いだことになる。

学習時の文脈は4段階で広げる。事前学習の期間に8,000から6万4,000へ、冷却の期間に25万6,000から100万へ。最も費用のかかる超長系列の計算を学習の終盤の短い区間に集中させることで、費用を抑えながら、長い依存関係に段階的に慣れさせている。報告書が示す費用の配分では、最終段階だけで全体のおよそ7割を占める。

9人の教師を、1人の生徒に畳む

設計と事前学習の次が事後学習で、この段階が使い勝手を決める。K3の事後学習は3段階に分かれる。教師ありの微調整で土台を作り、強化学習で領域ごとのエキスパートを育て、最後にそれらを1つのモデルに統合する。

強化学習の範囲は3つの領域にまたがる。一般の課題、一般のエージェント、そしてプログラミングのエージェント。それぞれに低・高・最高の3段階の推論の強度を設定し、3×3で9つのエキスパートを作った。

利用者に9つのモデルを選ばせるわけにはいかない。K3は多教師のオンライン方策蒸留という手法で、9人分の能力を1つのモデルに押し込んでいる。9人の教師が同時に1人の生徒を指導し、生徒は最後に9人分をひとりで担う。

工程上の細部として、K3は教師ありの微調整の段階から量子化を織り込んだ学習を行っている。重みにMXFP4、活性にMXFP8という低精度の形式を、学習の途中から使う。学習が終わってから圧縮するのではなく、学習の時点で低精度に慣れさせる。競技者が普段から本番の装備で練習するのに近い。この設計により、K3は各種のGPUにおける低精度の推論と、もともと相性がよい。

ここに、実務で見落とされやすい罠がある。推論の強度が3段階あるということは、K3のベンチマーク成績は強度を書かなければ意味を持たない、ということだ。実際、対象となる解説記事はブラウザ検索の課題で91.2という数字を挙げるが、公式のブログは同じ課題で90.4を示す。どちらも誤りではなく、測った強度が違う。K3を評価する側も、導入を検討する側も、数字の隣に強度の指定がなければ比較が成立しない。

2兆8,000億を回す土台 ― ほとんど報じられない部分

設計がよくても、それを支える基盤がなければ2兆8,000億は動かない。報告書のこの部分は地味だが、実際に回すかどうかを決める。

第1に、学習時の負荷分散である。多数のエキスパートが数百から数千のGPUに分散していると、一部が忙しく一部が暇な状態が生じ、集団全体の処理量は最も遅いものに足を引っ張られる。K3が使うMoonEPは、静的な計算形状とゼロコピーの通信によってこの偏りを消す。並べ替えと戻しの処理を融合し、トークンを遠隔のGPU上のエキスパートごとの位置へ直接送る。形状が静的に決まっているため、層ごとにホスト側と同期を取る必要がなくなる。

対象となる解説記事が触れていないのは、この仕組みの正式な名称が「動的冗長エキスパートによる完全均衡のエキスパート並列」であり、ムーンショットAIがこれをGitHubで公開していることだ(MoonEP)。K3の重みを動かさない事業者でも、この負荷分散の実装だけを取り出して使える。

第2に、推論時のキャッシュである。ここには、報告書が指摘し、解説がほとんど省く核心がある。KDAとMLAでは、過去の文脈の持ち方が根本的に異なる。従来の注意機構では、過去の文脈はトークンごとの鍵と値の組として保持されるため、長さに比例して増える。これに対しKDAは再帰的で、過去の文脈は固定の大きさの状態に畳み込まれている。性質の違う2種類を別々に管理すれば、処理は煩雑で重くなる。K3はKDAを意識したプレフィックスキャッシュを設計し、両者を同一のページ単位の管理へ統合した。100万トークンのプレフィックスを安く保持し、要求をまたいで再利用できる。競争力のある価格で外部に提供できるかどうかが、ここで決まる。

第3に、エージェントの学習に使うサンドボックスである。K3の課題は数百から数千回のツール呼び出しと数百万トークンに及び、途中で落ちたときに最初からやり直すことはできない。開発チームは復帰可能な小型の仮想マシンによるサンドボックスを用い、部分的な対話の保持や外部での鍵と値のキャッシュの維持といった手立てを重ねて、長寿命のモデルの状態と環境の状態の両方を保っている。このサンドボックスはAgentEnvと呼ばれ、KVCache.aiとの共同開発で、高速なスナップショット・復元・分岐に対応する。

成績と費用、そして数字を読むときの条件

位置づけは明快で、Claude Fable 5とGPT-5.6 Solの2つには及ばないが、それ以外の公開モデルと独自開発のモデルには先行する。これは自己申告であると同時に、評価でも裏づけられている。

個別の課題では首位を取っている。超長期のソフトウエア工学の課題で42.0、ブラウザ検索の課題で最高得点、文書解析の課題で91.1と独自開発のモデルをすべて上回り、対戦形式で評価するウェブ開発の場では1,678のEloレーティングでこの表の首位に立つ初のオープンウェイトのモデルになった。第三者による独立の評価では、知能指標の第4.1版で57.1点、580のモデル中4位につけている。

K3の破壊力が最も出ているのは費用の側である。プログラミングの課題ではFable 5に4点差まで迫りながら費用は相手の38パーセント、ブラウザ検索の課題では最高得点を取りつつ1課題あたり2.03ドルで、GPT-5.6 Solの半額、Claude系の最高の強度と比べると桁がひとつ違う。

ここでもう一点、引用の際に確かめるべきことがある。得点と費用を並べた比較図が広く出回っているが、そのなかには価格の基準日を2025年5月と注記したものが含まれる。比較の対象となっているモデルはいずれも2026年に公開されており、基準日が対象より前になる。図の見た目は説得力があるが、注記まで読むと数字の出どころが合わない。本稿の図には、一次資料と独立の評価で確認できた値だけを載せた。

導入を検討する側にとって実務的なのは、公表されている価格の構造である。入力はキャッシュに当たらない場合が100万トークンあたり3.00ドル、出力が15.00ドル、そしてキャッシュに当たった場合は大幅に下がる。ムーンショットAIは、プログラミングの作業ではキャッシュヒット率が9割を超えると述べている。つまり実際の支払いを決めるのは表の単価ではなく、プレフィックスキャッシュがどれだけ効くかである。前節で見たKDA対応のキャッシュ設計が、そのまま費用対効果の源になっている。

自分の生産設備を最適化しはじめたモデル

報告書の末尾に置かれた事例研究が、この報告書で最も現実離れした部分になる。

冒頭に置いた伏線から入る。開発チームは各社のモデルにGPUカーネルの最適化を行わせ、同一のサンドボックスで最大24時間、それぞれ単独で作業させた。K3は注意残差のカーネルについて、順伝播と逆伝播を合わせた処理時間を283.6ミリ秒から114.4ミリ秒へ縮めた。ほかの2つのカーネルでもそれぞれ55パーセントと74パーセントの高速化を達成し、最終的な改善率は基準に対して59.7パーセント。途中で手戻りのあったFable 5の57.1パーセントと並び、GPT系の2つを大きく引き離した。そしてK3の開発後期には、その初期版がチームのカーネル最適化の大半を担っていた。

以降は、事例がひとつずつ現実離れしていく。K3はTriton風のコンパイラMiniTritonをゼロから書き起こした。専用言語のフロントエンドから、MLIRの上に構築したタイル単位の中間表現、最適化の各段階、PTXコードの生成、実行時のランタイムまでを含む一本の経路で、対応する課題ではTritonやtorch.compileと同等か、一部の負荷では上回る性能を出した。nanoGPTの端から端までの学習を、収束が安定した状態で回している。

半導体の設計はさらに踏み込んでいる。K3は自身の設計思想に基づく小型モデル向けの推論用半導体を設計し、48時間の完全に自律した実行のなかで、公開されている電子設計自動化の道具とNangateの45ナノメートルのライブラリだけを使い、構築・最適化・検証を終えた。標準セル146万個、SRAM 0.277メガバイト、逆量子化を融合したINT4の積和演算器の配列を含み、4平方ミリメートルの範囲で100メガヘルツのタイミングを満たし、模擬した復号の処理量は毎秒8,700トークンを超えた。

学術の側では、計算天体物理における一組の普遍的な関係を再現するために、20編を超える論文を精査し、300を超える状態方程式を評価し、3,000行を超えるPythonを書いた。その過程で、すでに発表されている数式の誤りを見つけている。所要時間はおよそ2時間で、経験のある研究者なら1週間から2週間かかる作業にあたる。

知識労働の事例では、特定用途向け半導体の産業について42年分をたどる対話型の調査サイトを作った。120回を超える自己改良を経て、2,800回を超える検索と取得、1,100回を超える端末からのデータ取得を行い、四半期報告87件と文書99件を含む1万1,000ページ超の資料を読んでいる。

最後の事例には皮肉が混じる。K3は最初からのマルチモーダルの能力を使い、自分の公開予告の映像を56の素材から編集した。さらに、自分自身の設計を解説する教育動画も作っている。

日本の現場から見て、この報告書のどこが使えるか

実務の観点で、この報告書から取り出せるものを効き目の順に並べる。

最も直接的なのは、重みが公開されていることそのものだ。ただし2兆8,000億という規模には現実的な制約が伴う。推奨される構成はGPUを64個以上まとめた単位で、個人や小規模な事業者が単独で動かせる水準にはない。一方で、推論の実行基盤は公開初日から対応が入っており、vLLMが公開当日に対応したほか、AMDのMI355Xでも同日に動作が確認されている。特定の装置系列に縛られない選択肢が最初から用意されている点は、日本の報道でほとんど触れられていない。

次に効くのが、費用を決めるのは単価ではなくキャッシュの当たり方だという構造である。プログラミングの作業でキャッシュヒット率が9割を超えるということは、同じ作業でもプレフィックスの設計次第で支払いが桁で変わりうるということだ。長い指示や共通の文脈を先頭に固定し、変動する部分を後ろに置く。この並べ替えだけで、実際の請求が変わる。

3つ目が推論の強度の選択である。低・高・最高の3段階は、そのまま費用の調整つまみになる。全ての作業に最高強度をあてる必要はなく、下書きは低、検証は最高、という配分が可能になる。前節で見たとおり、この強度の指定がないベンチマークの比較は成立しない。同じことが自社の評価にも当てはまる。

そして基盤の側では、MoonEPが単体で公開されている点が実利になる。混合エキスパートのモデルを自前で学習する事業者にとって、エキスパートの負荷分散は自作すると手間のかかる部分で、これを既製品として使えるかどうかが工数を左右する。

循環が、報告書のなかで閉じた

冒頭の異例な書き出しに戻る。47ページを読み終えると、なぜ2段落目で劣位を認められたのかがわかる。手元にある材料が、話術で支える必要のない種類のものだからだ。オープンウェイトとして初の3兆規模、自ら設計した半導体、ゼロから書き起こしたコンパイラ、そして旗艦の5分の1の価格。Fable 5との差を認めることが、かえって公開陣営で最強という位置づけを動かしがたいものにしている。

繰り返し現れる自己参照の信号のほうが、より長く残る論点になる。K3はK3を生む工程のカーネルを最適化し、K3は自らの設計に基づくモデルのための半導体を設計し、K3は自らの設計を解説した。モデルが自分の次の版を作る作業に加わりはじめている。この事実は、宣言としてではなく、率直な技術報告書のなかの一行として書かれた。まだ公開していない初期版がすでにカーネルの最適化を手伝っていた、という淡々とした記述の形で。