AIは一つの製品ではなく、アプリから半導体までの六層が積み重なった構造だ。対話、モデル配信、大規模言語モデル、クラウド、チップ——各層の役割と、それを支える一つの仕組みを、上から順に数式と実測値で開ける。

「AIが賢い」という言い方は、便利だが中身を隠す。実際のAIは一つの製品ではなく、役割の違う層が積み重なった構造物だ。利用者が打ち込んだ一文は、アプリを抜け、対話サービスを通り、モデルを束ねた窓口に渡り、そこで大規模言語モデルが計算を回し、その計算はクラウドの演算装置の上を走り、装置の中では半導体が1秒間に何百兆回もの掛け算をこなす。答えは、この道を逆向きに戻ってくる。本稿は、この積み木を上から下へ一段ずつ開け、各層が何をしているのか、そして各層を成り立たせているたった一つの仕組みを、初めて触れる読者にも追える順序で示す。値段や損得の話は持ち込まない。追うのは、なぜ動くのか、なぜ速いのか、なぜ安く回るのか——その物理と数式だけだ。

読み進めれば、一つの見立てが立ち上がる。AIの「賢さ」は、どこか一点の魔法ではなく、六つの層それぞれの仕組みの合わせ技だということ。そして、ある層で起きた工夫は、上のサービスの速さも、下の半導体の必要量も動かす。層を分けて見る値打ちは、この波及の道筋が読めるようになる点にある。

AIを六つの層に分ける見取り図

本稿が使う枠組みは単純だ。最上段のアプリケーション層は、検索やSNSがAIを一つの機能として取り込む。その下のAIネイティブアプリ層は、対話やエージェントそのものを商品にする。次のMaaS・開発基盤層は、複数のモデルを束ねてAPIという窓口で配る。その下の基盤モデル層が、大規模言語モデルを作る中心だ。さらに下のクラウドサービス層が計算資源を貸し、最下段の半導体・チップ層が、AI処理用の半導体を設計・製造する。

AIを六つの層に分けた見取り図。上のアプリから下の半導体まで、問いは下へ降り、答えは上へ戻る。各層に固有の仕組みがある。
AIを六つの層に分けた見取り図。上のアプリから下の半導体まで、問いは下へ降り、答えは上へ戻る。各層に固有の仕組みがある。

この並びは、単なる分類ではなく、工学上の依存関係をそのまま写している。上の層は下の層なしに一行も動かない。逆に、基盤モデル層でメモリの使い方を工夫すれば、クラウド層で要る演算装置の数が減り、半導体層への注文が変わる。以下、この六段を上から順に開けていく。中心になるのは、大規模言語モデルそのものを作る第4層だ。だが、その中心を正しく理解するには、まず上の三層を通り抜ける必要がある。

第1層 アプリケーション層 — AIを機能として飲み込む

いちばん上は、私たちが毎日触れている面だ。検索、SNS、通販、地図。これらのアプリにとって、AIは主役ではなく、既存のサービスに溶け込む一つの機能である。商品説明を自動で書く、問い合わせに一次対応する、写真から品名を当てる。ここでのAIは、アプリが本来持つ流れの中に埋め込まれ、利用者はそれがAIだと意識しないことすらある。

この層で起きている静かな変化は、モデルが端末の中で直接動き始めたことだ。AIを積んだ眼鏡や録音機、玩具や音響機器が次々に登場している。小さな器の中でモデルを走らせるには、下の層で作られた大きなモデルを、後述する蒸留・圧縮・量子化といった技術で削って載せる必要がある。つまり最上段のアプリの体験は、いちばん下の半導体の制約と、真下の基盤モデル層の工夫に直結している。六層は、上端と下端で早くもつながっている。

第2層 AIネイティブアプリ層 — 対話そのものが商品

一段下りると、AIが主役になる面が現れる。対話サービスや、手順を自分でこなすエージェントは、AIがなければ存在しない。ここでの仕組みは、一問一答の背後にある「文脈と道具の連鎖」だ。モデルは前のやり取りを文脈として抱え、必要なら外部の検索や計算、コード実行といった道具を呼び、その結果をまた文脈に足して次の一手を決める。長い作業を最後までやり遂げる能力は、この文脈の保持と道具の使い回しから生まれる。

ここで一つ、後の層への伏線を置いておく。この「前のやり取りを抱える」ことが、下の基盤モデル層で最も重いメモリの負担を生む。文脈が長くなるほど、モデルが抱える記憶は膨らみ、それが生成の速さを縛る。第2層の便利さは、第4層の重さと引き換えになっている。

第3層 MaaS・開発基盤層 — 同じ半導体で、大勢に配る

対話サービスの下には、複数のモデルを束ねてAPIという窓口で配る層がある。開発者はこの窓口を叩くだけで、裏側の演算装置を意識せずにモデルを使える。この層の仕組みの核心は、限られた半導体で、いかに多くの利用者を同時に、安くさばくかにある。ここには近年の知恵が集中した。

第一に、記憶の管理だ。モデルは会話ごとに、過去のやり取りの内部表現を保存する。従来はこれを、出力の最大の長さを見込んで、一続きの領域にまとめて確保していた。長さは生成してみるまで分からないので、確保して使わない無駄が大量に出る。vLLMという基盤が持ち込んだPagedAttentionは、この記憶を小さなページに分けて、必要になった分だけ飛び飛びの場所に割り当てる。無駄がほぼ消え、同じ待ち時間のまま処理量が2倍から4倍に伸びた。第二に、順番待ちの組み方だ。従来は同じ束の全員が生成し終わるまで待ったため、早く終わった席の装置が遊ぶ。1語生成するたびに束を組み直し、空いた席へ新しい依頼を即座に差し込む方式にすると、ある計測では処理量が最大23倍に伸びた。第三に、小さなモデルが数語を先読みし、本命が一度にまとめて確かめる投機的デコードがある。これらは互いに補い合い、同じ半導体から引き出せる実効の量を何倍にも押し上げてきた。第3層は、下の高価な資源を薄く広く行き渡らせる配電盤の役割を担っている。

第4層 基盤モデル層(前半) — 言葉を数に変え、次の一語を選ぶ

ここが本稿の中心だ。大規模言語モデルを作るこの層に、AIの「賢さ」の大半が宿る。まず、モデルは文字を直接は扱わない。入力の文章は「トークン」という小さな断片に刻まれ、それぞれが数百から数千次元のベクトルに置き換えられる。ここから先、モデルの中に文字や文法は存在せず、高次元空間の点と、その点を動かす行列の掛け算だけが続く。1トークンがモデルを一度通るあいだに起きる掛け算の量には、簡単な目安がある。パラメータ数をNとすると、およそ2N回の積和だ。この粗い式が、速さの話を貫く物差しになる。

文章を生成する処理は、性質のまるで違う2つの局面に分かれる。ここを取り違えると、なぜ生成が遅いのかが永遠に分からない。最初はプロンプトを一括で処理する局面で、多数のトークンをまとめて通すため計算が詰まり、演算の速さそのものが上限を決める。第二は1語ずつ生む局面で、次の一語を出すたびに全パラメータをもう一巡させる。ここに落とし穴がある。このとき行うのは行列とベクトルの掛け算で、パラメータの各要素は1回読まれて1回使われるだけだ。読んだ1バイトあたりの計算が1回か2回しかなく、演算装置は大半の時間をメモリ待ちで過ごす。

生成が2つの局面に分かれること、逐次生成の局面がなぜメモリ帯域で頭打ちになるかを示した図。
生成が2つの局面に分かれること、逐次生成の局面がなぜメモリ帯域で頭打ちになるかを示した図。

この不均衡の帰結が「メモリの壁」だ。700億パラメータのモデルを16ビットで持てば、1語生むごとに約140GBを読み出す必要があり、毎秒5TB級の高速メモリでも上限は毎秒数十語にとどまる。生成AIの体感速度は、演算装置の型番よりも、メモリの帯域で決まる。この重さをさらに増すのが、第2層で触れた文脈の保持だ。過去の全トークンの内部表現を保存する記憶を、生成のたびに読み出すので、文脈が長いほど帯域が食われる。

だからこの層の最初の勝負どころは、この記憶をいかに小さく畳むかにある。DeepSeekが導入したMLAという注意機構は、記憶を2段構えで圧縮する。過去のトークンの鍵と値を、そのまま保存せず、512次元の低い潜在ベクトルに畳んでから保存し、必要なときに復元する。位置の情報だけは専用の64次元に切り離して扱い、圧縮の利点を守る。畳んだ後に保存するのは1層あたり576要素で、素朴な方式の32768要素に対して、およそ57分の1にあたる。記憶が57分の1になれば、生成のたびに読むバイトが激減する。同社の報告では、この工夫で生成の最大処理量が5.76倍に高まった。メモリの壁を、注意機構の設計そのもので押し返した実例だ。

注意機構の鍵と値を低次元の潜在ベクトルに畳み、位置情報だけを別に分離してキャッシュ量を削る仕組みの図。
注意機構の鍵と値を低次元の潜在ベクトルに畳み、位置情報だけを別に分離してキャッシュ量を削る仕組みの図。

第4層 基盤モデル層(後半) — 学び方の工夫が、費用の桁を動かす

同じ第4層で、モデルの容量と学習のコストを桁で動かした工夫が2つある。1つ目は、専門家混合(MoE)と呼ぶ構造だ。モデルの中でパラメータの大半が集まる部分を、多数の「専門家」に分割し、各トークンには一部だけを働かせる。DeepSeekのモデルは、各層に256の専門家と1つの共有専門家を持ち、1トークンにつき8つを選ぶ。総パラメータは6710億(671B)に達するが、1トークンで実際に計算されるのはそのうち370億(37B)、およそ5.5%だけだ。記憶の器は大きく、しかし1回の計算は小さい。この分離が、巨大なモデルを小さなモデル並みの計算費で走らせる正体になる。

専門家混合のルーティング。入力トークンが相性の点数で上位の専門家に振り分けられ、常時働く共有専門家と合わせて出力される流れ。
専門家混合のルーティング。入力トークンが相性の点数で上位の専門家に振り分けられ、常時働く共有専門家と合わせて出力される流れ。

MoEには積年の悩みがあった。放っておくと一部の人気専門家にトークンが集中し、大多数が学習されないまま容量が死ぬ。従来はこの偏りに罰則を与える補助的な損失を足していたが、それは言語の学習と競合し、性能を落とした。DeepSeekは各専門家に調整用のバイアスを持たせ、それを「どの専門家を選ぶか」の判定にだけ加え、出力の重み付けには加えない。混みすぎた専門家はバイアスを下げて選ばれにくくし、暇な専門家は上げる。この調整は損失の勾配の外で行われるので、言語の学習に余計な力を一切注がずに負荷だけを均す。板挟みそのものを設計で消したことになる。

2つ目は、学習の計算を8ビット(FP8)という低い精度で回したことだ。ビット幅が半分になると、掛け算の速さはおよそ2倍、メモリと帯域の消費は半分になる。ただし8ビットは表せる数の幅が狭く、素朴にやると値が潰れて学習が壊れる。DeepSeekは、スケールをトークンごと・128チャネルごとといった細かい単位で取って外れ値の影響を閉じ込め、さらに128要素ごとに部分和を32ビットの精度に引き上げて足し込むことで、掛け算の速さは8ビットで得つつ合計の精度は32ビット相当に保った。この結果、6710億パラメータ級のモデルの事前学習が、2048基の演算装置で2か月足らず、延べ約279万時間で終わった。

言葉を上手に続けるだけでは、難しい問題は解けない。事前学習を終えたモデルに推論の力を持たせる段が要る。近年最も注目されたのが、正誤を機械的に確かめられる報酬による強化学習だ。DeepSeekのGRPOという手法は、従来必要だった「価値を見積もるもう一つのモデル」を捨て、同じ問題への複数の答えの群平均を基準にする。本体と同じ大きさのモデルを丸ごと不要にできるので、推論を鍛える費用が大きく下がる。衝撃的だったのは、教師あり微調整を一切かけずに強化学習だけを回したとき、モデルが誰にも教わらないのに、自分の答えを検証し、途中で立ち止まって考え直す振る舞いを自分から獲得したことだ。数学競技の正解率は、学習が進むにつれて15.6%から71.0%へ伸びた。獲得した推論の力は、大きな教師モデルの答えで小さなモデルを微調整するだけで移せる。同じ土台で比べると、蒸留した320億パラメータ級のモデルは、その土台に直接強化学習をかけたものより、数学競技で47.0%対72.6%と大きく上回った。

事前学習から教師あり微調整、検証可能報酬による強化学習、蒸留までの流れと、計算費が事前学習に偏ることを示した図。
事前学習から教師あり微調整、検証可能報酬による強化学習、蒸留までの流れと、計算費が事前学習に偏ることを示した図。

学習全体の費用がどこに集中するかも見ておく価値がある。DeepSeekのモデルでは、事前学習が延べ約266万時間、微調整と選好の調整はわずか5000時間で、全体のおよそ96%が土台づくりに費やされた。器を作る計算が圧倒的に重く、味付けは軽い。「小さなチームのモデルが巨大資本に並ぶ」と驚かれた背景には、資本の量ではなく、この第4層に集中した設計の工夫がある。

第5層 クラウドサービス層 — 計算資源を束ね、電力の天井にぶつかる

第4層のモデルは、単体の演算装置では動かない。何百、何千もの装置を束ねて一つの巨大な計算機にする層が、その下にある。ここでの仕組みは、装置をどうつなぎ、どう電力をまかない、どんなソフトで動かすかにある。

装置と装置をつなぐ配線には、二つの流儀がある。NVIDIAは72基の装置を1つのラックに詰め、あえて光ではなく銅で結ぶ。ラック内の1、2メートルなら銅で信号が保ち、光より電力を食わず故障も少ないからだ。システム全体の消費電力は約145kWに収まる。対してHuaweiのCloudMatrixは、384基を16のラックにまたいでつなぐため距離が伸び、6912本もの光の配線で全体を結ぶ。総演算はNVIDIAのラックのおよそ2倍に届くが、消費電力は約559kWで4.1倍、演算あたりの電力効率は2.5倍悪い。単体では3分の1の力しかない装置を、5倍以上の数と大量の電力で束ねて総量で上回る、物量の設計だ。

短距離を銅で結んで効率を取るNVIDIAと、長距離を光で結んで物量を取るHuawei。二つの相互接続の設計思想の対比。
短距離を銅で結んで効率を取るNVIDIAと、長距離を光で結んで物量を取るHuawei。二つの相互接続の設計思想の対比。

その物量を成り立たせているのが、電力だ。AIの規模を最後に縛るのは、半導体でも配線でもなく電力だという見方が強まっている。演算装置を10万基束ねたクラスターは、約150MWを連続で食う。中規模の街に匹敵する量だ。世界のデータセンターの電力消費は2030年に向けてほぼ倍増する見通しで、送電網の増設が需要に追いつかない。ここで効くのは、装置を買えるかではなく、その装置に給電し冷却できるかだ。中国は2025年の1年だけで風力と太陽光を430GW超も積み増し、安い電力を演算に注げる。効率で負けても電力単価で取り返す——この非対称が、効率の悪い国産ハードを物量で押し切れる背景にある。効率の良し悪しだけで測ると、この構造を読み違える。

この層にはもう一つ、目に見えない堀がある。ソフトウェアだ。NVIDIAの本当の強みは、演算装置そのものより、その上に2006年から積み上げた道具の厚みにある。線形代数の基本部品、深層学習用の演算、数千の装置を同期させる通信部品が層をなし、世界の研究と製品の大半がその上で書かれている。競合が同等の道具を揃えるには年月がかかる。ハードの性能差は数字で見えるが、ソフトの成熟は年月でしか埋まらない。

第6層 半導体・チップ層 — 行列積を焼き付ける

いちばん下で、すべての計算が物理的に焼かれている。演算装置がAIで速いのは、掛けて足す小さな回路を格子状に敷き詰め、数を格子の中で隣へ流していくからだ。掛けた結果を外に出さず隣へ渡し、また掛けて足す。この「流して溜める」構造が、メモリの出し入れを最小にして掛け算の密度を上げる。NVIDIAは4かける4の小さな行列積を一単位にして束で16かける16に組み上げ、GoogleのTPUは128かける128の格子そのものを主役に据え、HuaweiのAscendは16かける16かける16の立方状の演算器を使う。同じ思想を、柔軟さと効率のどちらに寄せるかで枝分かれさせている。

この層のもう一つの主役が、演算回路に数を供給する高帯域メモリ(HBM)だ。第4層で見たとおり、生成の速さは演算力ではなくメモリの帯域で決まる。だから、このメモリを作れるかどうかが競争の隠れた分水嶺になっている。積層するこのメモリは、韓国と米国の3社がほぼ独占する。中国の長鑫はまだ2世代前の製品ですら安定量産に苦しみ、先端勢との差はおおむね3年から4年だ。演算回路をいくら作っても、供給するメモリがなければ性能は出ない。中国のAIハードが抱える最大の律速は、演算装置そのものよりこのメモリにある。

半導体をどれだけ細かく作れるかは、露光に使う光で決まる。波長13.5ナノメートルの極端紫外線(EUV)を使えば、7ナノメートル級の配線を一度の露光で描ける。だが中国はこの露光機を輸出規制で入手できず、波長193ナノメートルの深紫外線で代替する。この光では7ナノメートルを直接描けないため、一つの層を何度も露光と加工に分けて重ねる。一度で済む工程が数十に膨らみ、重ねるたびに位置合わせの誤差が溜まって歩留まりが落ちる。中国のSMICはこの方式で7ナノメートル級に到達したが、歩留まりは2割から4割程度と報じられ、より細い5ナノメートルへ進むには工程がさらに増えてコストが商用に耐えなくなる。

日本でほとんど報じられないが、Huaweiの最新演算装置には、規制の網をかいくぐって備蓄した台湾製のダイがかなり混じっていることが、分解調査で確認されている。仲介役の企業を通じて約5億ドル分のウェハが買われ、そこから約290万個のダイがHuaweiへ渡ったとされる。この備蓄は「ダイの銀行」と呼ばれ、いま国産演算装置が動いている本当の理由は、SMICの歩留まりが上がったからというより、この在庫を食い潰しているからだ、という見立てがある。中国の巨大システムがNVIDIAを「超えた」と伝わるとき、超えたのはシステムの総量であって、装置単体の効率でも、部品供給の自立でもない。この区別を落とすと、規制の効き目も国産化の進み具合も見誤る。

六層はどうつながるか — 一つの問いの往復

ここまで、上から下へ六段を開けてきた。最後に、この六層がどう一つに動くかを、一つの問いの往復で結んでおく。利用者がアプリ(第1層)に打った一文は、対話サービス(第2層)で文脈に組み込まれ、モデルを束ねた窓口(第3層)を通って、基盤モデル(第4層)に渡る。そこでトークンに刻まれ、注意機構と専門家混合を経て次の一語が選ばれる。その計算は、束ねられた演算装置(第5層)の上を走り、装置の中の半導体(第6層)の格子で焼かれる。答えは、この道を逆向きに、断片から文章へ、文章から画面へと戻っていく。

六層に分けて見えてくるのは、AIの「賢さ」がどこか一点の魔法ではなく、各層の仕組みの合わせ技だということだ。そして、ある層の工夫は上下に波及する。第4層で注意機構を畳めば、第3層でさばける利用者が増え、第5層で要る装置が減り、第6層への注文が変わる。逆に、第6層でメモリが作れなければ、いくら上の層で工夫しても全体が止まる。どの層の工夫が効率を変え、どの層の制約が全体を縛るのか——これが、六層という見取り図が与えてくれる視点だ。

最後に、この六層を誰がどこまで持つかにも触れておく。ある層だけを担う専業と、複数の層を縦に貫く形とに分かれる。基盤モデルだけに専念する企業もあれば、自社の半導体からクラウド、モデルまでを一貫して持つ企業もある。もう一つの分岐が、モデルの重みを公開するか否かだ。重みを公開すれば、世界の開発がその上に積み上がり、標準と人材がそこに集まる。公開された中国発のモデルは、派生が10万種を超え、累計の取得回数は3億を上回る。半導体の輸出を止めて計算資源を絞っても、モデルの能力そのものが公開や抽出で広がるなら、規制の実効はどこまで保てるのか。六層のどこを握り、どこを開くか——その選択が、これからのAIの地図を描いていく。

出典

本稿の技術記述は、主に基盤モデルを開発した各チームの一次資料に依った。トークンあたりの計算量と生成の2局面は Pope ほか(arXiv:2211.05102, 2022年11月)と vLLM論文(arXiv:2309.06180, 2023年9月)。MLAと専門家混合の定式化・具体次元は DeepSeek-V2(arXiv:2405.04434, 2024年5月)、DeepSeekMoE(arXiv:2401.06066, 2024年1月)、補助損失フリーの負荷分散(arXiv:2408.15664, 2024年8月)、DeepSeek-V3技術報告(arXiv:2412.19437, 2024年12月)。FP8の形式は Micikevicius ほか(arXiv:2209.05433, 2022年9月)。GRPOと蒸留は DeepSeekMath(arXiv:2402.03300, 2024年2月)と DeepSeek-R1(arXiv:2501.12948, 2025年1月)。演算器の構造は NVIDIA・Google・Da Vinci の公式アーキテクチャ資料。電力とデータセンターの数値は Epoch AI(2025年)、IEA(2025年)、中国国家能源局の統計。半導体・メモリ・相互接続・迂回ダイの分析は SemiAnalysis と TechInsights の一連の報告に依った。図が示す六層の枠組みは分析の出発点として用い、各層の仕組み・数式・具体値はいずれも原典に当たって検証し直している。