AIを動かす6つの計算機 — CPU・GPU・TPU・NPU・LPU・DPUの原理と、導入前の4つの問い

「必要なのはCPUか、GPUか」。AIの設備を検討するとき、最初に出てくる問いはたいていこれである。この問いの立て方は10年前なら意味があった。今は違う。2026年のAIの設備では、中央演算処理装置 (CPU)、画像処理半導体 (GPU)、テンソル処理装置 (TPU)、AI処理装置 (NPU)、言語処理装置 (LPU)、データ処理装置 (DPU) の6つが、1件のリクエストが通る経路の別々の場所で、別々の役割を担っている。本当に問うべきなのは、処理が実際にどこで滞っているかである。

本章ではまず、6つを1枚の図と3つの表で整理する (第1節)。次に、処理が滞る場所を特定するための考え方を説明し (第2節)、それを使って6つを順に解説する (第3〜8節)。後半では、同じ尺度での横断比較 (第9節)、導入前に確かめる4つの問い (第10節)、用途別の早見表と実際の製品での組み合わせ (第11節)、日本の投資家の視点 (第12節) を扱う。各節は「ひとことで言うと」から始まり、仕組み、数式、公表仕様の順に詳しくなる。数値の取得日は2026年9月17日である。

^基=基礎知識篇　^高=高級知識篇　^投=投資者視点篇。最初から順に読めば教科書として、節ごとに読めば辞典として使える。回路の構造と資本の動きは半導体技術の教科書 6.4「人工知能を動かす5つの計算機」で扱っている。

1. 6つの計算機を1枚で見る — 役割・置かれる場所・3つの尺度

6つは性能順に並ぶ製品ではない。1件のリクエストが通る経路の中で、置かれる場所が違う。利用者の端末では、CPUが基本ソフト (OS) を動かし、NPUが端末内で完結する推論を担う。リクエストがデータセンターに届くと、入り口でDPUが通信データを受け取り、暗号を解き、行き先を振り分ける。サーバーの中では、CPUがリクエストを受け付けて処理の順番を決め、学習であればGPUかTPUへ、リアルタイムの応答が必要な推論であればLPU型の装置か、バッチ処理を行うGPUへ処理を渡す。応答は同じ経路を逆にたどって戻る。

6つの名称・位置づけ・特徴

表1 6つの計算機の位置づけと特徴。英語圏で広く共有されている分類に沿い、日本語の名称は本誌の用語に合わせた。NPUは「ニューラル・プロセッシング・ユニット」の略で、本誌の半導体の教科書ではAI処理装置と呼んでいる。

処理の5段階 — リクエストが入ってから結果が出るまで

6つの計算機の処理は、それぞれ5つの段階に整理できる。各段階を横に並べると、設計思想の違いがそのまま表れる。「振り分ける」段階を持つのはCPUだけである。「誤差を逆伝播させる」段階を持つのはGPUだけである。TPUには「チップ内で完結させる」と「ポッドに拡張する」の段階が続く。NPUとLPUは順方向の推論しか行わない。DPUは自ら推論を行わず、最後の段階でほかの装置をAI処理に専念させる。

表2 処理の5段階。GPUの第4・第5段階 (誤差の逆伝播と重みの更新) は学習のときだけ実行される。推論では第3段階の結果をそのまま返す。

長所と短所 — 何を優先し、何を諦めたか

表3 長所と短所。短所は長所の裏返しになっている。GPUの「消費電力が大きい」は「多数のコア」の結果であり、LPUの「チップ1個あたりのメモリー容量が小さい」は「チップ上のSRAM」の結果である。

6つの違いを説明する3つの尺度

設計の違いは3つの尺度で説明できる。柔軟性 (どんな処理でも実行できるか)、並列度 (同じ計算をどれだけ同時に実行できるか)、メモリーとの距離 (演算器が必要とするデータがどれだけ近くにあるか) である。CPUは柔軟性を最優先し、並列度を諦めた。GPUは並列度を優先し、判断の速さを諦めた。TPUは行列演算への特化をさらに進め、柔軟性をもう一段手放した。NPUは同じ考え方を数ワットの消費電力に収め、扱えるモデルの規模を諦めた。LPUはメモリーとの距離を極限まで縮め、チップ1個あたりのメモリー容量を諦めた。DPUはそもそも尺度が異なり、推論ではなく通信とセキュリティーの処理に特化している。

2. 性能は「どこで滞るか」で決まる — 4つの壁とルーフラインモデル

4つの壁

表4 4つの壁。メモリーの壁は1995年の論文が名付けた古くからの問題で、演算器の性能が年に約6割伸びていた時代に、メモリーの速度が年1割弱しか伸びなかったことから生じた。電力の壁は、微細化を進めても電力密度が下がらなくなった2005年前後から、設計の前提になった。

ルーフラインモデル — 1つの式でボトルネックを見分ける

ボトルネックが演算とメモリーのどちらにあるかは、カリフォルニア大学バークレー校の研究者が2009年に示した簡単なグラフで判定できる。横軸に演算強度 (メモリーから1バイトを読み出すごとに何回の演算を行うか)、縦軸に達成できる性能を取ると、性能の上限は右上がりの斜線と水平な線の2本で表される。形が屋根に似ていることから、ルーフライン (屋根の線) モデルと呼ばれる。

演算強度が境界より低い処理は斜線の上にあり、演算器をどれだけ高速にしても性能は変わらない。この状態をメモリー律速と呼ぶ。境界より高い処理は水平線の下にあり、メモリーをどれだけ高速にしても性能は変わらない。この状態を演算律速と呼ぶ。エヌビディアのH100で計算すると、8ビットの演算性能は毎秒1,979兆回 (疎行列の高速化を使わない場合)、メモリーの転送速度は毎秒3.35テラバイトなので、境界は1バイトあたり約590回になる。

同じ装置でも、処理の内容によってボトルネックが変わる

言語モデルが文章を1トークンずつ生成するとき、1トークンごとに重み全体をメモリーから読み出し、重み1つにつき掛け算と足し算を1回ずつ行う。重みを8ビットで保持していれば、1バイトを読み出すごとの演算は約2回である。境界の590回に対して2回なので、演算器は性能の約0.3%しか使われない。この処理では演算性能のカタログ値はほとんど意味を持たず、メモリーの転送速度だけが処理速度を決める。

同じ装置で300件のリクエストをまとめて同時に処理する (バッチ処理) と、重みを1回読み出すだけで300件分の演算ができるため、演算強度は約600回に上がり、境界に達する。装置全体の処理量は300倍近くに増える。ただし個々のリクエストにとっては、ほかの299件と同時に処理される分だけ遅延が大きくなる。処理量と遅延がトレードオフになる理由はここにある。一方、学習は最初から大きな行列同士の掛け算であり、演算強度が高く、水平線に達する。学習でGPUの演算性能がそのまま生きるのはこのためである。

アムダールの法則 — 並列化できない部分が全体を制約する

1967年にジーン・アムダールが示したこの式は、計算機の数を増やしても、並列化できない部分が残るかぎり高速化には上限があることを示す。処理の9割を並列化できても (p＝0.9)、Nを無限大にして得られる倍率は10倍までである。AIの設備でこの「並列化できない1割」に当たるのが、リクエストの受け付け、処理順の決定、前処理、入出力、通信の処理である。GPUを何基追加しても、この部分を担うCPUとネットワークが追いつかなければ、GPUは手待ちになる。CPUが今もすべてのサーバーに搭載され、DPUという新しい装置が生まれた理由は、この式で説明できる。

データの移動に使うエネルギーは、演算より桁違いに大きい

表5 演算1回と、メモリーからの読み出し1回の消費エネルギー。スタンフォード大学のホロウィッツ氏が2014年の国際学会で示した45ナノメートル世代の測定をもとに、後続の研究がまとめた代表値。微細化が進んで絶対値は下がったが、比率の大きさは変わっていない。

外付けのメモリーから32ビットを読み出すエネルギーは、8ビットの加算の約2万倍、チップ上のメモリーから読み出す場合の約130倍である。数値を32ビットから8ビットに減らすと、演算のエネルギーが1桁以上下がるうえ、移動させるデータの量も4分の1になる。6つの設計がそろって、演算の高速化よりも「データを移動させる回数と量を減らすこと」に力を注いでいるのは、この表が理由である。

3. CPU — 判断しながら実行する屋台骨。全体の制御と前処理を担う

CPUの処理の5段階は、利用者からリクエストを受け取る、処理の順番を決める、適切なプロセッサーへ振り分ける、入出力を管理する、結果を返す、である。どの段階も行列の掛け算ではない。リクエストの内容を読んで分岐し、順番待ちの列を管理し、ストレージとネットワークの処理の完了を待ち、データの形式を整える。いずれも「前の結果を見て次を決める」処理で、並列化が難しい。第2節のアムダールの式でいう (1 − p) の部分を、CPUが担っている。

コア1個の性能を高める5つの仕組み

表6 CPUがコア1個あたりの性能を高める仕組み。行列演算命令 (AMX) の「8倍」はインテルの公表値で、従来の8ビット整数向け命令との比較。

5つに共通するのは、回路面積と電力の大半を「計算そのもの」ではなく「次に何が必要になるかを予測すること」に使っている点である。予測に頼る設計は平均的な速度を高めるが、外れたときの遅れが大きく、応答時間がばらつく。グーグルは第1世代TPUの論文で、CPUとGPUが備える仕組み (キャッシュ、命令の順序の入れ替え、データの先読みなど) は平均の処理量を高めるが、99パーセンタイルの応答時間 (100回のうち99番目に遅い応答の時間) を保証する役には立たない、と指摘した。この性質を指している。

前処理の中身 — GPUに渡る前に何が起きているか

言語モデルへのリクエストは、文字列のままではGPUに渡せない。文字列をトークンという単位に分割して番号の列に変換し、どのリクエストと一緒に処理するかを決め、過去の対話の計算結果がどの装置のどこに残っているかを調べる。画像や音声が含まれていれば、圧縮を展開して大きさをそろえる。学習の場合は、保存してある学習データを読み出し、順序を入れ替え、分割して、GPUが次の計算を始める前に届ける。いずれもCPUの仕事である。学習の現場では「データの読み込みが間に合わず、GPUが待たされる」という現象は珍しくない。第10節の問4は、これを見つけるための問いでもある。

この役割分担はサーバーの構成にも表れている。エヌビディアの8基構成のサーバーは、GPU 8基に対してCPUを2個搭載する。最新のラック型システムでは、GPU 2基に対してCPU 1個の割合まで増やした。CPUとGPUを毎秒900ギガバイトで直結し、CPU側の大容量のメインメモリーをGPUの補助メモリーとして使えるようにしている。GPUの世代が進むほど、隣に置かれるCPUの重要性は高まっている。

なぜ並列計算は遅いのか

サーバー向けCPUのコアは多くても数百個で、GPUが持つ数千〜数万個のコアとは2桁の差がある。コア1個の性能は高いが、700億個の重みを1トークンごとに掛けて足し合わせる処理では、性能より数がものを言う。メインメモリーの転送速度も毎秒数百ギガバイトで、HBMの10分の1程度にとどまる。演算の壁とメモリーの壁の両方に阻まれるため、大規模モデルの学習には向かない。

ただし「CPUではAIが動かない」わけではない。行列演算命令を備えた世代のCPUは、数十億パラメータまでの小規模なモデルの推論を実用的な速度で実行できる。リクエストがまばらで、GPUを1基割り当てても利用率が1割に届かないような用途では、CPUだけで推論を提供するほうが安く済む場合がある。利用率の測り方はGPU利用率の記事で解説した。

4. GPU — 判断を捨てて数を取った。学習と並列計算の主役

同じ命令を一斉に実行する — 32個のスレッドが足並みをそろえる

GPUのコアは、一つひとつが自分で判断する能力をほとんど持たない。エヌビディアの方式では、処理はスレッドと呼ばれる小さな単位に分割され、32個が1組になって同じ命令を同時に実行する。32個が同じ命令を別々のデータに適用しているかぎり、判断のための回路は1組に1つで済み、その分の回路面積を演算器に回せる。一方、条件分岐によって32個の行き先が分かれると、片方が待たされて効率が落ちる。GPUが「判断の多い処理」を苦手とするのは、この構造のためである。

行列演算器 — 4×4の行列の掛け算を1命令で実行する

エヌビディアは2017年の世代から、行列の掛け算と足し算を1つの命令で実行する専用の演算器 (テンソルコア) を搭載している。最初の世代は640個で、1個が4×4の行列を扱う。深層学習の計算量の大半は行列の掛け算なので、汎用のコアで要素を1つずつ計算するより1桁速くなる。その後の世代では、この演算器が扱える数値精度を16ビット、8ビット、4ビットへと広げてきた。

表7 エヌビディアのデータセンター向けGPUの公表仕様。1テラフロップスは毎秒1兆回の浮動小数点演算。世代をまたぐ演算性能の比較は、測定に使った数値精度が異なるため、単純にはできない (第I部 1.2)。

表7を横に比べると、7年間でメモリー容量は6倍、メモリーの転送速度は約9倍、GPU間接続の通信容量は6倍になった。演算性能の伸びは数値のビット数を減らすことで稼いだ部分が大きく、同じ数値精度で比べた伸びはこれより小さい。GPUの世代交代の中身は、演算器よりもメモリーとGPU間接続の強化である。第2節の言い方をすれば、メモリーの壁と通信の壁を押し上げる競争になっている。

学習の5段階 — なぜ学習にはGPUなのか

学習は、モデルを読み込み、コアに分配し、行列を掛け、誤差を逆伝播させ、重みを更新する、という5つの段階を何百万回も繰り返す。誤差を逆伝播させるには、順方向の計算の途中結果をすべて保持しておく必要があり、推論の数倍のメモリーを使う。重みの更新量はごく小さな値になるため、ビット数を減らしすぎると値が消えてしまう。このため学習は16ビットを基本とし、値が消えやすい部分だけを32ビットで保持し、影響の小さい部分は8ビットに落とす混合精度で行う。H100以降のGPUは、層ごとに数値の分布を調べ、8ビットと16ビットを自動で切り替える機構を備えている。

1基に収まらないモデルは、層ごとに分ける、行列を分割する、データを分ける、という3つの方法を組み合わせて数千基に分散させる。分割した境界では毎回データをやり取りするため、GPU間接続の通信容量が学習の速度を左右する。エヌビディアの最新のラック型システムは、72基を毎秒130テラバイトで相互接続し、1つの巨大なGPUのように扱う。GPUが学習に選ばれる理由は、演算器・メモリー・GPU間接続の3つがそろっていることと、その上で動くソフトウエアの蓄積が最も厚いことにある。同社が2007年に公開した開発環境「CUDA」は、研究論文のプログラムの大半が前提にしており、これが他社製品へ乗り換える際のコストになっている。

学習に必要なメモリーを数える — 1パラメータあたり16バイト

学習でメモリーに置くのは重みだけではない。混合精度の標準的な方法では、1パラメータにつき、計算に使う16ビットの重み (2バイト)、16ビットの勾配 (2バイト)、更新に使う32ビットの原本と2種類の移動平均 (4バイト×3＝12バイト) の合計16バイトを保持する。マイクロソフトの研究者が2019年に示した計算方法である。

同じモデルの推論は、8ビットなら70GBで済み、H100 1基に収まる。学習と推論では必要なメモリーが16倍違う。「学習か、推論か」が最初の問いになる理由の1つはここにある。重みを多数のGPUに分散して保持すると、今度は分散した断片を毎回集めるための通信が発生する。メモリーの壁を装置の数で乗り越えると、通信の壁に突き当たる。

5. TPU — 格子状の演算器にデータを流す。グーグル規模のテンソル演算

シストリックアレイ — 心臓の拍動のようにデータが流れる

この構造は、1982年にカーネギーメロン大学のクン氏が提案したもので、心臓の収縮 (シストール) になぞらえてシストリックアレイと呼ばれる。同じ小さな演算器を格子状に並べ、一定の周期でデータを隣へ送る。行列の掛け算では、重みを上から、入力データを左から流し込む。各演算器は掛け算を行って手元の合計に加え、値を次の演算器へ渡す。すべてのデータが通過したとき、各演算器の手元には答えの行列の要素が1つずつ残っている。

要点は、計算の途中結果をメモリーに書き戻さないことである。表5で見たように、外付けのメモリーへの1回の読み書きは、演算の数百倍から2万倍のエネルギーを使う。汎用の計算機は途中結果をいったんメモリーに置き、次の命令で再び読み出す。格子状の設計は、この往復を構造そのものから取り除く。その代わり、格子の形に合わない計算は実行できない。柔軟性と引き換えに、消費電力を減らした設計である。

第1世代の論文が示したこと

グーグルは2015年から第1世代を自社のデータセンターで使い、2017年の国際学会でその内容を公表した。中核は8ビットの積和演算器65,536個 (256×256の格子) で、最大で毎秒92兆回の演算を実行する。チップ上には、ソフトウエアで管理する28MiBのメモリーを持つ。同時期のサーバー向けCPUとGPUに比べ、自社の推論処理 (当時の需要の95%を占めた6種類のモデル) で平均15〜30倍速く、電力あたりの性能は30〜80倍だった。

論文は設計の狙いを、平均的な速度ではなく応答時間の保証に置いている。利用者の目に触れるサービスでは、100回に1回の遅い応答が使い心地を左右する。CPUとGPUが平均性能を高めるために備える仕組みは、実行のたびに所要時間が変わる原因になる。TPUはこうした仕組みを持たず、プログラムをチップ向けの命令に変換するソフト (コンパイラー) が、実行の順序を事前にすべて決める。回路が小さく消費電力が低いのは、それらを持たなかった結果である。論文はさらに、メモリーをGPUと同じ種類に替えれば処理量が3倍になると試算しており、当時からメモリーの転送速度が性能の上限だったことが分かる。

表8 TPUの3つの世代。第1世代と第4世代はグーグルの研究者が国際学会で発表した論文、第7世代は同社の2025年4月の発表による。1エクサフロップスは毎秒100京回の浮動小数点演算。

ポッド — 通信の壁を光で乗り越える

TPUのもう1つの柱は、数千個を1台の計算機のように連携させる「ポッド」である。第4世代は4,096個を光スイッチで接続し、処理の内容に合わせて接続の形そのものを組み替える。鏡の向きを変えて光の行き先を切り替える方式で、電気式のスイッチより安く、消費電力が小さく、故障した区画を避けて接続し直すこともできる。光部品がシステム全体に占める割合は、費用で5%未満、電力で3%未満と報告されている。第7世代は9,216個を液冷でまとめ、合計で42.5エクサフロップスに達する。最近の世代で一部を電気式のスイッチに戻す動きがあることは、TPUの接続方式の記事で検証した。

接続の形は3次元の格子で、端と端をつないで輪にした形 (トーラス) を取る。各チップは上下・左右・前後の6方向の隣とだけ直接つながる。学習で頻繁に発生する「全チップの計算結果を足し合わせる」通信は、輪に沿って順に送れば隣同士の受け渡しだけで済み、中央のスイッチに通信が集中しない。演算器が隣へデータを渡すという第1世代の発想を、チップ同士の規模でもう一度使っている。

短所 — グーグルのクラウドの中でしか使えない

TPUは製品として購入できない。グーグルのクラウドで時間単位で借りるか、同社と直接契約する。開発環境も同社のものが中心で、GPU向けに書かれたプログラムはそのままでは動かない。長所である「ポッドへの拡張で性能が伸びる」点は、グーグルのデータセンターの設計と一体で成り立っており、外には持ち出せない。2025年10月にアンソロピックが最大100万個を利用する契約を結んだように、社外の大口利用は広がっているが、利用の形は今も「クラウドで借りる」である。

6. NPU — ビット数を減らして端末で推論する。量子化の数学

NPUの処理の5段階は、利用者が入力する、端末内のNPUが起動する、量子化したモデルで推論する、ミリ秒単位で応答する、即座に出力する、である。クラウドでの推論と違い、ネットワークを往復する段階がない。通信の往復には国内でも数十ミリ秒、混雑時には数百ミリ秒かかる。音声の聞き取りや文字入力の補完のように、利用者が待てない用途では、端末内で処理が完結することがそのまま使い心地の差になる。写真や音声を端末の外に送らないことは、個人情報の保護の面でも利点になる。

量子化 — 実数を整数に対応させる式

学習済みの重みは、16ビットか32ビットの小数として保存されている。NPUはこれを8ビットや4ビットの整数に変換して計算する。変換の方法は、グーグルの研究者が2017年に示した次の式が基本になっている。

重みの最小値と最大値を調べ、その範囲を256段階 (8ビット) または16段階 (4ビット) に等分する。SとZは、層ごと、あるいは小さなブロックごとに1組だけ持てばよく、行列の掛け算そのものは整数同士の計算で済む。整数の演算器は、小数の演算器より回路がはるかに小さく、表5で見たように消費エネルギーも1桁以上少ない。重みのデータ量も、8ビットなら16ビットの半分、4ビットなら4分の1になり、メモリーの壁が同じ割合で低くなる。

表9 数値形式の一覧。重みのデータ量は「パラメータ数×ビット数÷8」で計算した。4ビットでは表現できる値が16個しかないため、32個や64個の小さなブロックごとに倍率を持たせ、外れ値を別に扱う方式が使われる。

ビット数を減らせば誤差が生じる。画像の分類では、8ビットでも元の精度をほぼ保てることが早くから確かめられ、2017年の論文は、量子化による誤差を学習の段階であらかじめ織り込む方法も併せて示した。言語モデルでは、ごく一部の重みと計算途中のデータに極端に大きな値 (外れ値) があり、全体を等分すると精度が大きく落ちる。このため、重みだけを4ビットにして計算途中のデータは8ビットか16ビットのままにする、重要な重みだけ高い精度で残す、といった手法が標準になった。「何ビットで動かせるか」は、装置の性能ではなく、モデルと量子化の手法の組み合わせで決まる。

公表値の読み方 — 「毎秒40兆回」という基準

表10 NPUの公表値。1秒あたりの演算回数 (TOPS) は8ビット整数の演算で数えるのが通例だが、測定の条件は各社で異なる。

マイクロソフトは2024年、AI機能を前面に打ち出したパソコンの認定基準を「毎秒40兆回以上」とした。この数字は販売上の基準であって、技術的な境界ではない。第2節の考え方で見れば、NPUの実際の速度を決めるのは演算回数よりもメモリーである。NPUは専用のHBMを持たず、端末のメインメモリーをCPUやGPUと共用する。メインメモリーの転送速度は毎秒100ギガバイト前後で、HBMの数十分の1しかない。30億パラメータのモデルを4ビットで保持すると、重みは約1.5GBになる。1トークンごとにそのすべてを読み出すと、転送速度が毎秒100ギガバイトなら1トークンあたり15ミリ秒かかり、毎秒約67トークンが上限になる。端末内で動く言語モデルが数十億パラメータまでに収まっているのは、演算回数ではなく、この計算の結果である。

7. LPU — メモリーを演算器の隣に置く。リアルタイムの言語モデル推論

1トークンの生成時間を決める式

第2節で見たように、1トークンずつの生成はメモリー律速である。所要時間は次の割り算でほぼ決まる。

重みの読み出しに、演算の約300倍の時間がかかっている。GPUでこの処理を速くする方法は、複数のGPUに重みを分散させるか、リクエストをバッチ処理して処理量を稼ぐかの2つだが、後者は1件あたりの遅延を大きくする。「1人の利用者に素早く返す」ことに価値がある用途では、どちらも決め手にならない。文脈が長くなると、重みに加えて、過去のトークンの計算結果 (KVキャッシュ) も毎回読み出すことになり、読み出すデータ量はさらに増える。この仕組みはKVキャッシュの解説記事で扱った。

推論の前半と後半 — 1件のリクエストの中でボトルネックが変わる

言語モデルの推論は2つの段階に分かれる。前半は入力の一括処理 (プリフィル) で、利用者が送った文章のすべてのトークンを一度に処理する。数千トークンを同時に計算するため演算強度が高く、演算律速になる。後半は1トークンずつの生成 (デコード) で、こちらはメモリー律速である。1件のリクエストの中で、ボトルネックが演算からメモリーへ切り替わる。

この性質を踏まえ、前半と後半を別々の装置に担当させる推論システムの設計が広がっている。前半は演算性能の高い装置、後半はメモリーの転送速度が高い装置に割り当て、途中の計算結果を装置間で受け渡す。エヌビディアがグロックの技術を取り込んだ狙いも、後半を担う装置の選択肢を自社で持つことにあると考えられる (記者の見立て)。利用者が体感する「最初の1トークンが出るまでの時間」は前半で、「文章が表示されていく速さ」は後半で決まる。

グロックの設計 — 動作が状況で変わる回路をすべて取り除く

LPUは米グロックの製品名で、設計の内容は同社が2020年の国際学会で公表した。創業者は、グーグルで第1世代TPUの開発に携わった技術者である。設計の出発点は2つの観察だった。第1に、深層学習の処理はデータの並列性が豊富で、テンソルの形のままハードウエアに対応づけられること。第2に、単純で決定論的なプロセッサーであれば、コンパイラーがハードウエアの動作を1周期ごとに正確に把握できること、である。決定論的とは、同じ処理であれば実行の順序と所要時間が毎回同じになるという意味である。

そこで同社は、実行中の状況に応じて動作が変わる回路をすべて取り除いた。複数の処理の競合を調整する調停回路も、必要なデータがあるかどうかで所要時間が変わるキャッシュも、データの先読みの機構もない。チップは機能ごとの細長い領域に分かれ、行列演算の領域、ベクトル演算の領域、メモリーの領域が交互に並ぶ。データはこれらの領域を横切って流れ、どの時点でどのデータがどこにあるかは、コンパイラーによる変換の段階ですべて決まる。複数のチップの間の通信まで事前に決まるため、数百個のチップが1台の計算機のように同期して動く。

表11 グロックの第1世代製品の公表値。論文、製品仕様、同社の発表、第三者の計測による。

表11の上の2行が設計の核心である。チップ上のメモリーの転送速度は毎秒80テラバイトで、H100のHBMの約24倍に当たる。その代わり、容量は230MBしかない。700億パラメータを8ビットで保持すると70GBになるので、チップ1個には重みの0.3%しか収まらない。同社は576個を連結して1つのモデルを動かした。576個のメモリーの合計は約132GBで、70GBの重みが収まる。利用者1人あたり毎秒300トークンという値は、バッチ処理に頼らずに達成した速度である点に意味がある。

短所と、その後の資本の動き

代償はチップの数である。576個は1個あたり200ワット前後の電力を消費するとされ、9つのラックを占める。リクエストが途切れなく届く大口の推論サービスでなければ、設備投資を回収しにくい。学習には使えない。モデルが大きくなれば、必要なチップ数も比例して増える。速さを得るための設計であり、安さを得るための設計ではない。

2025年12月、エヌビディアはグロックの推論技術のライセンス供与を受ける契約を結び、約200億ドルを支払った。契約は非独占のライセンスで、創業者と社長、中核の技術者はエヌビディアへ移籍し、グロックは新しい経営陣のもとで推論サービスの事業を続けている。GPUの最大手が、GPUとは正反対の思想の設計に過去最大の金額を支払ったことは、推論サービスの市場で「1件ごとの応答の速さ」が独立した価値として認められたことを示している。資本の動きの詳細は半導体技術の教科書 6.6にまとめた。

8. DPU — 通信処理を引き受け、CPUとGPUを本来の仕事に戻す

DPUの処理の5段階は、通信データが届く、DPUがハードウエアで直接受け取る、セキュリティー処理と暗号化を行う、ストレージと入出力へ振り分ける、CPUとGPUをAI処理に専念させる、である。ほかの5つと違い、最後の段階が「結果を返す」ではなく「ほかの装置の負担を減らす」になっている。

なぜ必要なのか — 通信が高速になるほどCPUが消費される

クラウドのサーバーでは、1台のサーバーを多数の顧客が共有する。顧客ごとに仮想ネットワークを作り、通信を暗号化し、ファイアウォールの規則を適用し、離れた場所にあるストレージをあたかも手元にあるかのように見せる。こうした処理は以前、CPU上のソフトウエアが担っていた。通信速度が毎秒10ギガビットから400ギガビットへ上がると、通信データを処理するだけでCPUのコアがいくつも占有される。顧客に販売するはずのコアが、裏方の処理に消えていく。

アマゾンが2017年に導入した方式は、この裏方の処理を専用のカードへ移すものだった。仮想ネットワーク、ストレージとの接続、サーバーの管理をカードが担い、セキュリティー専用のチップが起動のたびにサーバーの状態を検証する。同社はこれにより、サーバーの計算資源とメモリーの「ほぼすべて」を顧客に提供できると説明している。セキュリティーの面でも意味がある。暗号鍵とファイアウォールが顧客のOSと同じ場所にあると、侵入を許した時点で両方が破られる。別のカードに載った別の計算機に置いておけば、顧客側のOSが乗っ取られても、インフラ側は守られる。

表12 DPUと、同種のインフラ処理用プロセッサー。呼び名は各社で異なり、インテルはインフラ処理装置 (IPU) と呼ぶ。クラウド大手3社は、いずれも自社設計または共同設計の製品を持つ。

AIの設備での役割 — GPUを待たせない

AIの学習では、数千基のGPUが歩調を合わせて計算を進めるため、1基でもデータの到着が遅れると全体が待たされる。学習データは離れた場所のストレージからネットワーク経由で届き、学習途中の状態の保存もネットワーク経由で書き出される。ここをCPU上のソフトウエアで処理すると、遅延のばらつきが大きくなる。DPUは、ストレージの読み書きと、サーバー同士が相手のメモリーへ直接データを書き込む通信を専用回路で処理し、遅延を小さく、一定に保つ。第2節の言い方をすれば、通信の壁を低くし、アムダールの式の「並列化できない部分」を小さくする装置である。

短所もはっきりしている。消費者が購入する機器には搭載されない。設定は複雑で、ネットワーク、ストレージ、セキュリティーの3分野にまたがる知識が要る。用途はデータセンターのインフラに限られる。GPUサーバーを自社で数台持つだけの利用者には必要がなく、クラウド事業者や、数百基以上を連携させる設備で意味を持つ。

9. 6つを同じ尺度で比べる — 演算器・メモリー・数値精度・電力・開発環境

表13 6つの横断比較。各社の公表仕様と論文をもとに記者が整理した。消費電力は代表的な製品の目安で、世代や型番によって変わる。

表から読み取れる3つの傾向

実行順序の決め方の行を左から右へ見ると、「実行中にハードウエアが判断する」から「事前にすべて決める」へと移っていく。判断をハードウエアに任せるほど柔軟になるが、回路と電力を消費し、応答時間がばらつく。事前に決めるほど回路は小さく、所要時間は一定になるが、実行できる処理は限られる。TPUの論文が99パーセンタイルの応答時間を設計の狙いに挙げ、LPUが決定論的な実行を特徴に掲げるのは、どちらも同じ方向を目指しているからである。

主なメモリーの行は、演算器とメモリーの距離を示している。CPUは遠くにあるメインメモリーの遅さを、階層化したキャッシュで補う。GPUとTPUは、同じパッケージに搭載したHBMを使う。NPUは内蔵のメモリーと端末のメインメモリーを併用する。LPUはチップの中だけで完結させる。距離が近いほど高速で消費電力が小さいが、容量は小さくなる。速度・消費電力・容量の3つを同時に満たした設計は、まだない。

ソフトウエアのエコシステムの行は、性能表には表れないが、選択を最も強く制約する。研究論文のプログラム、学習用のツール、推論用のツールの大半は、GPUの開発環境を前提に書かれている。ほかの5つを選ぶということは、その蓄積から離れるコストを負担することを意味する。専用設計のチップが性能でGPUを上回っても市場を取れない例が続いているのは、このためである。AIサーバーに占める専用設計チップの比率が伸び悩んだ経緯は、専用設計チップの比率を検証した記事で扱った。

10. 導入前の4つの問い — 答えられないなら、発注書で賭けをしている

現場で繰り返される3つの失敗

AIの設備の現場では、同じ種類の失敗が繰り返されている。1つ目は、モデルには何の問題もなかったのに、GPUを買い増した例である。リクエストは入出力の完了を待っていた。見直すべきだったのは、ストレージとネットワークの設計だった。2つ目は、端末内で実行できたはずの処理を、クラウドへ送り続けていた例である。スマートフォンのNPUで十分に動く規模のモデルだった。3つ目は、推論を提供する経路に必要だったのは低遅延の推論だったのに、学習用のサーバーをもう1台追加した例である。学習用の装置は処理量を重視して設計されており、1件のリクエストに素早く応答することには向かない。

3つとも、装置の性能が足りなかったわけではない。ボトルネックを測らずに、最も有名な装置を買ったのである。

4つの問い

表14 導入前の4つの問い。問いの順番にも意味がある。問1で処理の種類を、問2で実行する場所を、問3で何を重視するかを決め、問4で「そもそも装置を増やすべき問題なのか」を確かめる。

問いに答えるための測り方

問1は設計の段階で決まる。問2は法務と製品の要件で決まる。測定が必要なのは問3と問4である。問3では、利用者が体感する速さを2つに分けて測る。最初の1トークンが出るまでの時間と、その後のトークンが出る間隔である。前者は入力の一括処理で演算律速に近く、後者はメモリー律速である。同じ「遅い」でも、どちらが遅いかによって対策が変わる。

問4は、GPUの利用率を正しく読むことから始まる。管理画面に表示される「利用率100%」は、演算器が休みなく動いていることを意味しない。何らかの処理が実行されていた時間の割合であり、その間に演算器の大半がメモリーや入出力を待っていても100%と表示される。演算器がどの程度使われていたか、理論上の演算性能の何割を引き出せたかは、別の指標で測る。3つの指標の違いはGPU利用率の記事にまとめた。

11. 用途別の早見表 — 6つの使い分けと、実際の製品での組み合わせ

4つの問いの答えを1枚にまとめると、次の使い分けになる。全体の制御にはCPU。学習と並列計算にはGPU。グーグル規模のテンソル演算にはTPU。端末内の推論にはNPU。リアルタイムの言語モデル推論にはLPU。ネットワーク、セキュリティー、入出力の肩代わりにはDPU。選ぶ基準は、遅延、並列性、消費電力、コスト、規模の5つである。

表15 用途別の早見表。処理の性質 (遅延・並列性・消費電力・コスト・規模) に基づいて選ぶ。

実際の製品は1つに絞らない — 組み合わせて使う

早見表は「どれか1つ」を選ぶ表に見えるが、実際の製品は複数を組み合わせている。6つは競合する製品というより、役割を分担する部品である。

表16 実際の製品での組み合わせ。各社の公表仕様による。

投資の観点では、この役割分担に重要な意味がある。GPUの出荷が増えれば、同じラックに搭載されるCPUとDPU、それらを結ぶケーブルや光部品も比例して増える。1つの設計の優劣よりも、ラック1台に何が何個搭載されるかを数えるほうが、部品と材料の需要を正確に見通せる。ラックの構成と電力は第IV部 設備と国家で扱った。

コストの考え方 — 購入する単位と利用する単位

6つは調達の方法も異なる。CPUとGPUは、製品として購入することも、クラウドで時間単位で借りることもできる。TPUは借りるしかない。NPUは端末を買えば付いてくる。LPU型の推論は、装置を購入するよりも、トークン単位で利用する形が中心である。DPUはクラウドの料金に含まれており、利用者からは見えない。「GPUを時間単位で借りる」ことと「トークンを買う」ことが別の商品であるという点 (第I部 1.6) は、ここにも当てはまる。応答の速さに価値がある用途では、トークンの単価が高くても高速な推論サービスを選ぶ理由がある。1回の対話でモデルを数十回呼び出すAIエージェントでは、1回あたりの遅延が呼び出し回数の分だけ積み重なるためである (第VIII部 費用の式)。

12. 日本の投資家の視点 — 6つの計算機のどこに日本企業がいるか

6つの設計の主要企業は、CPUがインテル、AMD、Arm陣営、GPUがエヌビディアとAMD、TPUがグーグル、NPUがアップル、クアルコム、インテル、AMD、LPUがグロック (技術はエヌビディアへ)、DPUがエヌビディアとクラウド大手である。日本企業が主力として量産している設計は、6つのいずれにもない。日本企業が強みを持つのは、設計では汎用CPU、AI専用プロセッサー、受託設計、組み込み機器向けの推論の4分野、製造では装置と材料である。

表17 日本企業の位置。各社の発表と決算短信による。パッケージ基板と材料の行は代表的な企業を挙げた。パッケージ基板の行のリンクはイビデンのページである。

読み方 — メモリーの壁が続くかぎり、装置と材料の需要は続く

本章の結論を製造の側から見ると、次のようになる。6つの設計の競争は、演算器ではなく、メモリーとチップ間接続の競争になっている。GPUとTPUは世代ごとにHBMの容量と転送速度を高めており、HBMは薄く削ったメモリーチップを何層も積み重ねて作る。積層する枚数が増えるほど、研削装置、接着材料、検査装置の需要が増える。GPUとHBMを同じパッケージに搭載するための大型のパッケージ基板も必要になる。どの設計が主流になっても、この部分の需要は残る。日本企業の層が厚いのはこの領域である。

設計の分野では、富士通のCPUに注目したい。6つの中で最も地味なCPUは、第3節で見たように、AIの設備が大きくなるほど重要になる。富士通の新しいCPUは演算部に2ナノメートル世代の製造プロセスを使い、AIの推論性能を従来の2倍に高めるとしている。演算部の製造は台湾積体電路製造 (TSMC) が担う。経緯は富士通の2ナノCPUの記事で扱った。プリファードネットワークスは、自社設計のプロセッサーを自社のクラウドで提供しており、言語モデルの推論に向けた次世代品を開発している。いずれも規模では米国の大手に及ばないが、電力あたりの性能や国内での調達といった別の尺度で独自の位置を築いている。

一方で、注意が必要な見方もある。「NPU搭載のパソコンが普及すれば、クラウドでの推論は減る」という見方は、第6節の計算に照らすと行き過ぎである。端末で動かせるのは数十億パラメータまでのモデルで、数千億パラメータのモデルの処理が端末に移ることはない。端末とクラウドは代替の関係ではなく、問2 (データを端末の外に出せるか) によって分かれる別々の市場と見るのが正確である。

13. 残る5つの論点と、章のまとめ

第1に、メモリーの壁はいつまで続くのか。 HBMは世代ごとに転送速度を高めているが、モデルと文脈の長さの伸びのほうが速い。演算器の中にメモリーを組み込む方式や、光でメモリーを接続する方式が研究されているが、量産の時期は見通せない。

第2に、専用設計は汎用品に取り込まれるのか。 GPUは行列演算器を取り込み、8ビットと4ビットの演算を取り込み、LPUの技術のライセンスも手に入れた。専用設計が示した発想を、汎用品の側が次の世代で吸収する流れが続いている。独立した専用チップが市場を維持できるのは、GPUが構造上まねのできない部分を持つ場合に限られるだろう (記者の見立て)。

第3に、ビット数はどこまで減らせるのか。 16ビットから8ビット、4ビットへと進んできたが、2ビットや1ビット台の研究では精度の低下が大きい。ビット数を減らす余地がなくなれば、演算性能の向上は製造プロセスの微細化に頼るしかなくなる。

第4に、端末とクラウドの境界はどこに落ち着くのか。 端末のメモリーの転送速度が上がれば、動かせるモデルは大きくなる。同時に、クラウド側のモデルも大きくなる。境界がどちらに動くかは、問2に該当する用途がどれだけ増えるかで決まる。

第5に、エコシステムの壁は崩れるのか。 装置の違いを吸収する共通のソフトウエア層が整えば、GPU以外を選ぶコストは下がる。各社が取り組んでいるが、性能を最後まで引き出す部分は、今も装置ごとの作り込みに頼っている。

出典 (取得日 2026-09-17)

1. Jouppi ほか「In-Datacenter Performance Analysis of a Tensor Processing Unit」ISCA 2017 — 8ビット積和演算器65,536個、毎秒92兆回、チップ上のメモリー28MiB、15〜30倍と30〜80倍、需要の95%、99パーセンタイルの応答時間、メモリーを替えた場合の試算
2. Jouppi ほか「TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings」ISCA 2023 — 4,096個、光部品の費用5%未満と電力3%未満、2.1倍と2.7倍、埋め込み処理の専用回路の5〜7倍
3. グーグルの第7世代TPUの発表 (2025年4月9日) — 9,216個、42.5エクサフロップス、1個あたり4,614テラフロップス、HBM 192GB・毎秒7.37TB、チップ間接続は双方向で毎秒1.2テラビット、電力あたりの性能2倍と約30倍
4. Abts ほか「Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads」ISCA 2020 — 設計の2つの観察、状況に応じて動作が変わる回路の排除、機能別の領域、220MiBのSRAM、14ナノメートル世代・900MHz、1枚ずつの処理で毎秒2万400枚
5. グロックの製品仕様と発表 — チップ上のメモリーの転送速度毎秒80TB、毎秒750兆回と188テラフロップス、700億パラメータで利用者1人あたり毎秒300トークン (2023年11月)、576個の連結。第三者の計測は毎秒241トークン (2024年1月)
6. エヌビディアとグロックの契約に関する報道 (2025年12月24日〜26日) — 約200億ドル、非独占のライセンス、創業者と社長らの移籍、グロックの事業の継続
7. エヌビディアの公表仕様 — V100 (行列演算器640個・4×4の行列)、A100、H100 (8ビットの3,958テラフロップスは疎行列の高速化を含む公称値で、含まない値は1,979。HBM 80GB・毎秒3.35TB、GPU間接続毎秒900GB、最大700ワット)、Blackwell (トランジスタ2,080億個、チップ間接続毎秒10TB、4ビット浮動小数点、GPU間接続毎秒1.8TB、72基で毎秒130TB)、BlueField-3 (毎秒400ギガビット、Armコア16個、トランジスタ220億個)
8. Jacob ほか「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」(2017年12月公開、CVPR 2018) — 整数演算だけで推論する方式、実数と整数を対応させる式、誤差を学習の段階で織り込む方法
9. Williams・Waterman・Patterson「Roofline: An Insightful Visual Performance Model for Multicore Architectures」Communications of the ACM 2009年4月号 — 演算強度の定義とルーフラインモデル
10. Amdahl「Validity of the single processor approach to achieving large scale computing capabilities」AFIPS 1967年春季大会 — 並列化による高速化の上限
11. Kung「Why Systolic Architectures?」IEEE Computer 1982年1月号 — シストリックアレイの原理
12. Wulf・McKee「Hitting the Memory Wall」(1995年)、Horowitz「Computing's Energy Problem」ISSCC 2014、Han ほか ISCA 2016 — メモリーの壁、演算とメモリーの読み出しの消費エネルギーの代表値
13. Rajbhandari ほか「ZeRO: Memory Optimizations Toward Training Trillion Parameter Models」(2019年) — 混合精度の学習で1パラメータあたり16バイト。エヌビディアの8基構成のサーバーと最新のラック型システムの公表仕様 — CPUとGPUの比率、毎秒900ギガバイトの直結
14. インテルの行列演算命令 (AMX) の説明 — 2023年1月発売の世代から搭載、8ビット整数と16ビットに対応、従来の命令の8倍
15. アップル M4 の発表 (2024年5月7日、16コア・毎秒38兆回)、クアルコム Snapdragon X Elite (毎秒45兆回)、インテル Core Ultra 200V (毎秒48兆回と40兆回)、AMD Ryzen AI 300 (毎秒50兆回)、マイクロソフトの開発者向け文書 (毎秒40兆回以上・16GB・256GB)、ルネサス RZ/V2H (1ワットあたり毎秒10兆回)
16. アマゾン Nitro の説明、マイクロソフト Azure Boost の説明 (毎秒200ギガビット)、インテル IPU E2100、AMD Pensando Salina 400、マーベル OCTEON 10 の各社発表
17. 富士通のCPU「MONAKA」の発表と報道 (144コア、2ナノメートル世代と5ナノメートル世代の積層、2026年11月から販売)、プリファードネットワークスの製品説明 (8個で16ビット演算3.1ペタフロップス)、ソシオネクスト 2026年3月期決算短信 (売上高2,008億3,400万円)
18. 本誌の関連記事と章 — 半導体技術の教科書 6.4〜6.6、第I部 基礎、GPU利用率の記事、KVキャッシュの解説記事、TPUの接続方式の記事、専用設計チップの比率を検証した記事、富士通の2ナノCPUの記事
19. 境界の約590回、1トークンあたり約20.9ミリ秒と約0.07ミリ秒、端末内の毎秒約67トークン、576個のメモリーの合計約132GB、表13・表14・表16の整理は、上記の一次資料をもとにした記者の計算と整理である