LLMの仕組み — トークン化・注意機構・MoE

② AIの仕組み — なぜ次の1語が当たるのか

前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。

2.1 トークン化と埋め込み — 言葉が数値になるまで

モデルは文字を読まない。読むのは語彙表の番号である。 そして課金単位である「トークン」は単語ではなく、統計的に決めた切れ目にすぎない。 日本語が英語より割高になりがちなのは、この切れ目の作られ方に理由がある。

番号になった語は、次に数百から数千次元の座標へ置き換えられる。「意味を理解している」の実体はこの座標であり、 層を通るごとに文脈を織り込んで位置が動く。多義語の曖昧さが解けるのは、入口ではなく層の途中である。

出典: Vaswani et al. 2017 (Transformer) / Sennrich et al. 2015 (BPE) / Kudo & Richardson 2018 (SentencePiece) / Su et al. 2021 (RoPE) / tiktoken

2.2 注意機構とTransformer — 「どの語を見るか」を計算で決める

「文脈を読む」は比喩ではない。実体は全トークン対の関連度を並べた行列を作り、その重みで平均を取る操作である。 2017年の1本の論文が提示したこの機構が、以後の全ての大規模モデルの土台になった。 注意機構が系列長の2乗で効くという性質が、そのまま長文脈の原価に直結する。

長い文脈を扱うコストは、演算量とメモリの2方向から効いてくる。 「128k対応」という仕様表の1行の裏側には、次の3つの制約が同時に存在する。 原価側からの扱いは③3.5節 (文脈長とKVキャッシュ)を参照。

出典: Vaswani et al. 2017 / FlashAttention / GQA / PagedAttention (vLLM)

2.3 自己回帰生成 — 1トークンずつ、確率から1個選ぶ

回答が1文字ずつ出てくるのは演出ではない。モデルは1トークン出すたびに全層を通し直している。 同じ質問で答えが変わるのも、温度という設定が効くのも、すべてこの工程の④で起きている。

出典: 核サンプリング (top-p) / 投機的復号

2.4 学習時と推論時、計算の中身は何が違うのか

①1.5節では訓練と推論を「別の商売」として区別した。 ここでは同じ区別を計算とメモリの中身から見る。要点は、学習ではメモリの大半が重み以外に消えること、 そして推論では重みが1ビットも動かないことである。後者は情報漏洩の議論で最も誤解される点でもある。

出典: Chinchilla (計算最適な配分) / InstructGPT (後訓練) / LoRA (部分学習)

2.5 MoEの動作原理 — ルーターが専門家を選ぶ

③3.2節の系譜表が示すとおり、総パラメータと有効パラメータの乖離は MoEによって生まれる。ただし「専門家」は人が分野を割り当てたものではない。 ルーターが学習の結果として勝手に作った分業であり、医療担当や法律担当が居るわけではない。

そして本ページで最も実務的に重要な誤解がここにある。MoEで安くなるのは演算であって、GPUメモリではない。 総パラメータ分の重みは常時メモリに載せておく必要があり、この一点が中小事業者にとっての参入障壁になる。

出典: Shazeer et al. 2017 / Switch Transformer / DeepSeekMoE / DeepSeek-V3 技術報告

2.6 なぜ幻覚が起きるのか — 設計上の必然と、直せる部分

幻覚 (もっともらしい嘘) は単一のバグではない。発生源が複数あり、対策ごとに効く相手が違う。 「検索を繋げば直る」「温度を下げれば直る」という理解は、いずれも半分しか当たっていない。

対策側から見ると、何が減らないかのほうが実務では重要になる。 温度を下げても知識不足由来の誤りは1件も減らない。ここを取り違えた品質改善は空振りに終わる。

出典: 幻覚サーベイ (Ji et al.) / Why Language Models Hallucinate (2025) / 逆転の呪い / Lost in the Middle

2.7 埋め込み検索とRAG — 外部知識を注意機構に届ける経路

RAGは「モデルに検索させている」のではない。検索した文章をプロンプトに貼り付けているだけである。 この一点を理解すると、失敗の大半がモデル側ではなく検索側で起きている理由が分かる。 応用層での位置づけは⑤5.1節 (第3層: 私有データ)を参照。

出典: RAG 原論文 / MTEB (埋め込みの共通評価)

2.8 誤解の解体 — 通説と実際

投資判断と業務設計を最も歪めるのは、技術の難しさではなく広く流通している通説である。 以下はいずれも、そのまま信じると意思決定を誤るものを選んだ。

出典: 創発は幻か (Schaeffer et al.) / 創発的能力 (Wei et al.) / 較正と幻覚の不可避性

日本語のトークン倍率は規範となる一次情報が存在しないため、本ページでは倍率を数値で示さない。 自社文書での実測 (tiktoken 等) を推奨する。

③ 大規模モデルの構造 — パラメータの正体

「1750億パラメータ」「1兆パラメータ」のパラメータとは、モデル内部の重み行列を構成する数値1個1個のことである。 単位のB (Billion) は10億個。訓練とは、この膨大な数値の集合を、データに合うように少しずつ調整し続ける作業に他ならない。

3.1 規模の3区分 — 小型・中型・大型

パラメータは「個数」だが、実務ではそのままメモリ必要量に換算される (FP16なら1個2バイト。175Bモデルの重みだけで350GB)。 これがモデル規模と必要GPU数を直結させる。

10B・100Bという境界に公式の定義はない。本ページが説明のために置いた便宜的な区分である。 なおモデルファミリー名だけでは区分できない点にも注意がいる。たとえばGemmaもPhiも10Bを超えるモデルを含むため、 上表ではサイズを明記した。

3.2 スケーリング則 — 規模がそのまま性能になる、ただし作法が変わった

2020年のGPT-3 (175B) が示したのは、「モデルを大きくし、データと計算を注ぎ込むほど、能力が law-like に伸びる」というスケーリング則である。 その後DeepMindのChinchilla研究 (2022) が「パラメータ1個あたり約20トークンのデータで訓練するのが計算効率上の最適」と示し、 さらに現在の主流はMoE (Mixture of Experts=専門家混合) へ移った。 総パラメータは巨大でも、1トークンの処理に使うのは一部の専門家だけという構造で、看板の数字と原価を切り離した。

表中の「約18分の1」「約3.2%」は本ページが総パラメータと有効パラメータの比から計算した値であり、 各社が主張している数値ではない。また実際の推論原価はこの比率どおりには下がらない。 KVキャッシュの読み出しとメモリ帯域が別途効くためで、DeepSeek-V3とKimi K2はいずれもMLAという機構でKVキャッシュ側を圧縮している。

出典: Kaplan et al. 2020 (スケーリング則) / Chinchilla (計算最適な配分) / Llama 3 技術報告 / DeepSeek-V3 技術報告 / Kimi K2 技術報告

3.3 訓練の3段階 — 事前学習・教師あり微調整・強化学習

「訓練」は1つの工程ではなく、性質の違う3段階の積み重ねである。計算量の9割以上は第1段階に集中する。 公表例では、DeepSeek-V3の全訓練が H800 GPU で約279万GPU時間・約558万ドル (うち事前学習は約266万GPU時間・約533万ドル。1 GPU時間あたり2ドルという同社の仮定での換算) と、 工夫次第で最前線級を1桁安く作れることを示し業界に衝撃を与えた。 ただし同社はこの金額に先行研究・アブレーション実験・アーキテクチャやデータの試行錯誤の費用を含まないと明記している。 公表された最終ランの費用であって、開発全体の費用ではない。

出典: InstructGPT (3段階の原典) / Tulu 3 (検証可能な報酬によるRL) / DeepSeek-V3 技術報告 (訓練コスト)

3.4 開放型と閉鎖型 — 企業ではなく、モデル単位で分かれる

この区分を「開放型の企業と閉鎖型の企業」で説明する記事が多いが、2025年以降それは成り立たない。 OpenAIは2025年8月にgpt-oss (総117B) をApache 2.0で公開し、GoogleはGemmaを公開している。 現在の標準は同一企業が旗艦モデルは閉鎖型、小型モデルは開放型に置く二正面戦略であり、 分かれ目は企業ではなくモデルにある。

3.5 文脈長とKVキャッシュ — 「128k対応」の物理的裏側

文脈長 (コンテキスト長) は、モデルが一度に把握できるトークン数の上限である (128k は 131,072 = 約13万トークン)。 長文脈が高価な理由は明快で、モデルは過去の全トークンについてKVキャッシュ (Key/Value の中間計算結果) をGPUメモリに保持し続ける必要があり、 文脈が長いほど・同時利用者が多いほど、このメモリ消費が線形に膨らむ。 長文脈対応とは性能の話である以前に、GPUメモリという原価の話なのである。