人工知能の応答が遅いとき、演算器は忙しいのではなく待っている。1語ごとに重みを丸ごと読み直すため、速さの床は記憶から運べる速度で決まる。その床を公開仕様で割り戻し、動かせる側が誰かを決算で確かめた。

GPUの仕組みを、演算区画の入れ子、記憶の階層、CPUとの面積配分、束の切り替え、記憶の帯域という通路、重み1つの費用、1語ごとの全読み、まとめ処理、まとめ読み、釣り合いの点という11の論点で説明した投稿が広く共有されている。その結論は1行で、計算は安く、データを運ぶのが高く、ほかの全部はそこから決まる、というものである。本稿はこの11の論点を1つも落とさず日本語で組み直し、数字を公開仕様で検算し、そのうえで元の説明が触れていない2つの点を掘る。1つはこの構造から出てくる料金の仕組み、もう1つは通路を売る側の決算である。

対象投稿はGPUを含む5つの計算機の設計 (CPU・GPU・TPU・NPU・LPU) を並べる投稿の続編にあたる。5つの設計の比較は技術体系解説の6.4〜6.6で扱っており、本稿はそのうちGPUの内側に入る。

演算区画の入れ子 — 内側ほど速くて私的、外側ほど遠い

GPUの基板の上には、演算区画 (ストリーミング・マルチプロセッサ) が並ぶ。H100 SXM ではその数が132である。1つの区画の中にスレッドブロックが置かれ、ブロックは最大1,024本のスレッドを持つ。スレッドは32本ずつの束 (ワープ) にまとめられ、1つの束は同じ命令を同時に実行する。1ブロックは最大32束にあたる。区画にはレジスタ (1区画あたり256KB、スレッド専用)、共有メモリ (ブロック単位で、作り手が自分で管理する)、1次キャッシュ (区画単位で、機械が管理する)、そして毎周期に準備の整った束を送り出す束の割当器がある(本稿の図1)。

GPUの演算区画の入れ子と記憶の階層
GPUの演算区画の入れ子と記憶の階層

図1 — H100 SXM の公開仕様で描いた構造。上段は演算区画の入れ子と基板外の高帯域記憶、下段は記憶の階層、CPUとGPUの面積配分、束の切り替え

132の区画がすべて共有するのが2次キャッシュで、容量は50MB、管理は機械が行う。そして基板の外に、記憶バスを介して高帯域記憶 (HBM) がある。H100 SXM では80GB、帯域は毎秒3.35TBで、モデルの重み、注意機構の保存領域、活性値、途中の作業領域がここに置かれる。この記憶は最も遠く、最も遅い場所であり、しかし重みを丸ごと置けるのはここしかない。

入れ子の意味は私有の度合いにある。区画の内側にあるものは速くて私的で、全区画が見なければならないものは下へ降りて取りに行く。記憶の階層を上から並べると、スレッド専用の記憶は届く手間がほぼ無料、区画内の作業板である共有メモリはとても安く、これが作り手の側で管理できる唯一の速い記憶にあたる。2次キャッシュは目に見えて遅く、主記憶である高帯域記憶は桁違いに遅い。大きな器ほど届きにくく、届きやすい器は重みを置くには小さすぎる。性能を出す作業は、データをできるだけ上の段に長く留めることに尽きる。GPU向けの計算核 (カーネル) の最適化とは、実態としてこの主記憶への往復を減らす作業である。

同じ面積で逆の賭け — CPUは制御に、GPUは演算に面積を使う

CPUとGPUは同じ面積の半導体に対して逆の配分をしている。CPUは面積の大半を大きなキャッシュと制御の仕組み (分岐予測、命令の並べ替え) に使い、演算器は少数にとどめる。少数の賢く速いスレッドを持つ設計で、次に何をするかが実行中に決まる仕事に向く。GPUはその制御機構の大半を削り、空いた面積を数千の演算器に充てる。数千の単純で遅いスレッドを持つ設計で、全データが同じ手順で処理される仕事なら、1つの制御で数千の演算器を動かせる。

数千のスレッドがあっても、1本1本は記憶からデータが届くまで待つ。束は待つが、基板は待たない、という仕組みがここにある。束Aが待つ間に束Bが実行し、束Bが待つ間に束Cが実行する。割当器が毎周期に準備の整った束だけを演算器へ送るため、実行中の束だけを重ねれば、演算器はずっと働いている。束の切り替えに費用がかからないのは、各束のレジスタが区画内に常に置かれたままだからで、これが1区画あたり256KBというレジスタの大きさの理由になる。

通路が限界を決める — 重み1つの費用と見返り

ここからが核心で、数字が出てくる。演算器と記憶の間には通路があり、その広さが記憶の帯域である。演算器は数千個あるが、大半はデータ待ちで遊んでいる。記憶には数十GBがあり、モデルの重みは全部そこにある。演算器を増やしても通路は広がらない。計算は安く、数を演算器まで運ぶことに金がかかる。

重み1つの収支で確かめる(本稿の図2)。16ビットで持つ重みは1つ2バイトで、運ぶ費用はこの2バイトである。重みが1つ届くと、入力1つと掛け、合計に足す。演算は2回で、重み1つの仕事はこれで全部になる。700億パラメータのモデルなら、140GBを運んで1,400億回の演算を買う計算で、1バイトあたり1回である。

計算は安く運ぶのが高い — 記憶律速の算術
計算は安く運ぶのが高い — 記憶律速の算術

図2 — 通路の限界、重み1つの収支、1語ごとの全読み、まとめ処理、まとめ読み、釣り合いの点。数値は H100 SXM の公開仕様からの割り算

この機械の釣り合いの点は、公開仕様から割り戻せる。H100 SXM の16ビット密演算は989テラFLOPS、記憶の帯域は毎秒3.35TBだから、989兆÷3.35兆で1バイトあたり約295回、丸めて約300回になる。1バイト運ぶごとに300回以上の演算がある仕事なら演算器が限界になり、通路は追いつく。300回に届かない仕事は記憶が限界になり、通路が速さを決める。1語ずつの生成は1バイトあたり1回で、釣り合いの約300分の1に沈む。速い基板に替えても救えないのは、演算器が遊んでいるのであって不足しているのではないからである。

1語ごとにモデル全体を読み直す — 24語／秒という床

床の数字はここから出る。文章を生成する処理は、1語を出すたびに、モデルの重みをすべて読み直す。読んだ重み1つにつき演算は約2回で、次の語でもまた全部読む。700億パラメータを16ビットで持てば140GBで、これを毎秒3.35TBで読むと1語あたり41.8ミリ秒かかる。1秒に約24語が、この構成の床になる。演算はほぼ無料で、読むことが費用の全部にあたり、語の速さは1語に読むバイト数を届く速さで割った値に等しい。この床は道具の工夫では動かない。計算核をどれだけ書き直しても、140GBを毎秒3.35TBで読む時間は変わらないためである。

床を動かす手段は3つしかない。読むバイト数を減らすか、届く速さを上げるか、1回の読みで出す語の数を増やすかである。1つ目が量子化 (16ビットを8ビットや4ビットへ落として重みの容量を半分、4分の1にする)、2つ目が高帯域記憶の世代交代、3つ目がまとめ処理にあたる。

まとめ処理は帯域を買わずに処理量を買う

要求を1件ずつ処理すると、140GBを読んで1語が出る。1往復で1語である。要求を8件まとめて処理すると、同じ140GBの読みから8語が出る。記憶の費用は変わらず、そこから引き出す仕事だけが増える。16ビットでは、約300本の要求を同時に流して初めて演算が限界になる。釣り合いの点である300回／バイトに、1回／バイトの仕事を300本重ねて届く計算である。

この算術は料金の仕組みに直結する。利用者は1語あたりで料金を払うが、供給者の原価は1往復あたりで発生する。1件ずつ処理する供給者の原価は1語あたり1往復分で、300本をまとめる供給者の原価は1語あたり300分の1往復分になる。同じ機械、同じ電力で、原価が最大で300分の1まで下がる。文章生成の料金が短期間に急落してきた背景には、モデルの軽量化と並んで、このまとめ処理の技術が成熟した事情がある。逆に言えば、利用者が少なく要求をまとめられない供給者は、同じ基板を持っていても原価で競争できない。基板を持つことと、通路を埋め続けることは別の能力にあたる。

機械は塊でしか取ってこない — 散らばった読みは8分の1になる

もう1つ、帯域そのものより手前の問題がある。記憶の仕組みは必ず塊で値を取ってくる。1つの値だけを取ることはできない。8本のスレッドが隣り合った値を順に読めば、2つの塊で全部が使われ、効率は100%になる。8本が散らばった場所を読めば、8つの塊を取ってきて各塊から1つの値だけを使い、残りは取って捨てる。効率は12.5%に落ちる。

帯域が毎秒3.35TBあっても、散らばった読み方をすれば実効の帯域は8分の1になる。図2の釣り合いの点は「通路をきちんと使った場合」の数字で、使い方を誤ればさらに手前で頭打ちになる。計算核の最適化が「まとめ読み」の形にデータを並べ直す作業から始まるのはこのためで、演算の順序を書き換えるより先に、記憶の並びを書き換える。GPUの計算核を書き直す人工知能の検証記事で扱った自動最適化も、その中身の大半はこの並べ直しである。

通路を売っているのは誰か — 高帯域記憶3社の占有率と、マイクロンの決算

ここまでの算術が示すのは、GPUの速さが演算器ではなく高帯域記憶の帯域で決まるという構造である。この構造の下では、利幅は演算器を作る側だけでなく、通路を作る側にも集まる。通路を作る会社は世界に3社しかない(本稿の図3)。

高帯域記憶の供給構造と日本側の勘定
高帯域記憶の供給構造と日本側の勘定

図3 — 高帯域記憶3社の四半期占有率、米証券取引委員会に提出されたマイクロンの実額、金融庁EDINETとe-Statで測った日本の受け皿

調査会社の四半期推計によれば、高帯域記憶の占有率は2025年4〜6月期にSKハイニックス62%、マイクロン21%、サムスン電子17%だった。7〜9月期にはSKハイニックス57%、サムスン電子22%、マイクロン21%と、サムスン電子が2位に上がった。2026年に供給が始まる第4世代では、SKハイニックス50%、サムスン電子30%、マイクロン20%へ均されるという見通しが出ている。首位の占有率が1年で10ポイント以上落ちる速さで、通路の供給者の間でも競争が動いている。

3社のうち米証券取引委員会に書類を出しているのはマイクロンだけで、その年次報告書が通路を売る側の台所を示す。2025年8月期の売上高は373億7,800万ドルで前期比48.9%増、粗利率は39.8%で前期の22.4%から17.4ポイント上がった。営業利益は97億7,000万ドルと前期13億400万ドルの7.5倍、純利益は85億3,900万ドル、設備投資は158億5,700万ドルで前期比89.1%増である。同社は決算説明で、高帯域記憶の売上が2025年8月期第4四半期に約20億ドルへ達し、年換算で約80億ドルの水準にあると述べた。1ドル158.91円 (米セントルイス連邦準備銀行の統計、2026年8月21日) で換算すると売上高は約5兆9,397億円、営業利益は約1兆5,526億円、設備投資は約2兆5,198億円になる。粗利率が1年で17ポイント動くのは、記憶素子の値決めが帯域の需給で決まるようになったことの表れである。

日本側の勘定 — 記憶を積み上げる装置と材料に利幅が落ちる

高帯域記憶は記憶素子を薄く削って縦に積み、貫通電極でつなぎ、検査して封止する。日本の会社が主役なのはこの積み上げの工程で、金融庁のEDINETに提出された有価証券報告書で実額を確かめた。

検査装置のアドバンテストは2026年3月期の売上高1兆1,286億1,000万円で前期比44.7%増、営業利益4,991億2,000万円で前期2,281億6,100万円の2.19倍、営業利益率44.2%である。積層前に基板を薄く削る研削と切断の装置を持つディスコは売上高4,368億8,900万円、営業利益1,849億8,900万円で利益率42.3%だが、設備投資は前期698億3,500万円から327億800万円へ半減した。前工程装置の東京エレクトロンは売上高2兆4,435億3,300万円、営業利益6,249億3,600万円で前期比10.4%減、研究開発費は2,778億6,600万円である。封止材料のレゾナック・ホールディングスは2025年12月期の営業利益466億7,600万円で前期比47.6%減、従業員は2,411人減った。

同じ「高帯域記憶の裾野」でも、検査と研削の装置は利益率が4割を超え、前工程装置と材料は減益にある。帯域が値段を決める市場では、記憶を積み上げる工程の中でも、積む数が増えるほど回数が増える工程 (検査、研削) に利幅が集まる。この構造はエヌビディアの独自記憶発表を割り戻した記事で扱った電力と面積の勘定と対になる。

国内の生産統計も置いておく。経済産業省の鉱工業指数 (2020年を100とする) で、モス型集積回路のうち記憶素子は2025年に163.8まで上がり、2026年1〜3月期は143.3である。半導体製造装置は2026年1〜3月期に185.2と統計開始以来の最高を付けた。基板を借りて売る側では、GPUの貸し出しを国内で手がけるさくらインターネットが2026年3月期に設備投資225億5,300万円を投じ、営業損益は4億400万円の赤字に転じている。基板を買っても通路を埋め続ける利用者を集められなければ原価で負ける、というまとめ処理の算術が、この損益に表れている。

読者が自分で検算できる3つの割り算

本稿の数字はすべて公開仕様からの割り算で、読者の手元でも再現できる。第1に、釣り合いの点は「16ビット密演算のFLOPS ÷ 記憶の帯域」で、H100 SXM なら989兆÷3.35兆で約295回／バイトになる。第2に、1語の床は「重みの容量 ÷ 記憶の帯域」で、140GB÷毎秒3.35TBで41.8ミリ秒、約24語／秒である。第3に、演算が限界になるまでに必要な同時要求数は「釣り合いの点 ÷ 1語あたりの演算密度」で、300÷1で約300本になる。

この3つの割り算は基板が替わっても形が変わらない。帯域が毎秒8TBの基板なら1語の床は17.5ミリ秒へ縮み、釣り合いの点は演算能力の伸びに応じて動く。演算器の数を見て速さを語る習慣は、この構造の下では的を外す。見るべきは通路の広さと、通路をどれだけ埋められるかの2つになる。