演算強度とは
読み: えんざんみつど Operational Intensity AI計算資源・大規模モデルの用語
演算強度とは、メモリーから1バイトを読み出すごとに何回の演算を行うかを示す比率。言語モデルが1トークンずつ生成するときは約2回と極端に低く、演算器は性能の1%も使われない。リクエストをまとめて処理すると高くなる。装置の演算性能をメモリーの転送速度で割った境界の値と比べて、ボトルネックを判定する。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
processors 2. 速さは「どこで詰まるか」で決まる — 4つの壁とルーフライン
ひとことで言うと — 料理の速さは包丁の速さだけでは決まらない。冷蔵庫から材料を運ぶ速さ、厨房どうしの受け渡し、ガスの容量のどれかが先に上限に当たる。計算機も同じで、演算・記憶・通信・電力の4つのうち、最初に上限に当たった場所が全体の速さを決める。 4つの壁 壁何が上限になるか当たりやすい仕事解きにいく設計 表4 4つの壁。記憶の壁は1995年の論文が名付けた古い問題で、演算器の速さが年に約6割伸びた時代に、記憶の速さが1割弱しか伸びなかったことから生じた。電力の壁は、微細化しても電力密度が下がらなくなった2005年前後から設計の前提になった。 ルーフライン — 1本の不等式で詰まる場所を読む 演算と記憶のどちらで詰まっているかは、2009年にカリフォルニア大学バークレー校の研究者が示した簡単な図で読める。横軸に演算密度 (記憶から1バイト運ぶごとに何回の演算をするか)、縦軸に到達できる速…
processors 7. LPU — 記憶を演算器の隣に置く。実時間の言語モデル配信
ひとことで言うと — LPUは「文章を1語ずつ、待たせずに返す」ことだけに絞った計算機である。重みを外の記憶に置かず、演算器と同じ基板の上の速い記憶に全部置く。1個には少ししか載らないので、数百個をつないで1つのモデルを動かす。 1語を生む時間の式 第2節で見たとおり、1語ずつの生成は記憶律速である。時間は次の割り算でほぼ決まる。 1語あたりの時間 ≒ 重みの大きさ ÷ 記憶の帯域例: 700億パラメータ・8ビット ＝ 70GB。H100のHBMは毎秒3.35TB → 70 ÷ 3,350 ＝ 約20.9ミリ秒 (毎秒約48語)同じ1語の計算は 1,400億回 ÷ 毎秒1,979兆回 ＝ 約0.07ミリ秒 読む時間が計算する時間の約300倍かかっている。GPUでこの仕事を速くする方法は、装置を並べて重みを分けるか、要求を束ねて処理量を稼ぐかの2つで、後者は1本あたりの待ちを伸ばす。「1人の…
関連する用語
出典・注記: 第IX部 計算機 の新設に伴い採用 (2026-09-17)
🧰 ツール・特集の入口
一次データで動く 11 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)