演算強度とは
読み: えんざんみつど Operational Intensity AI計算資源・大規模モデルの用語
演算強度とは、メモリーから1バイトを読み出すごとに何回の演算を行うかを示す比率。言語モデルが1トークンずつ生成するときは約2回と極端に低く、演算器は性能の1%も使われない。リクエストをまとめて処理すると高くなる。装置の演算性能をメモリーの転送速度で割った境界の値と比べて、ボトルネックを判定する。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
processors 2. 性能は「どこで滞るか」で決まる — 4つの壁とルーフラインモデル
…横軸に演算強度 (メモリーから1バイトを読み出すごとに何回の演算を行うか)、縦軸に達成できる性能を取ると、性能の上限は右上がりの斜線と水平な線の2本で表される。形が屋根に似ていることから、ルーフライン (屋根の線) モデルと呼ばれる。 達成できる性能 ＝ min ( 演算器の最高性能 , メモリーの転送速度 × 演算強度 )境界となる演算強度 ＝ 演算器の最高性能 ÷ メモリーの転送速度 演算強度が境界より低い処理は斜線の上にあり、演算器をどれだけ高速にしても性能は変わらない。この状態をメモリー律速と呼ぶ。境界より高い処理は水平線の下にあり、メモリーをどれだけ高速にしても性能は変わらない。この状態を演算律速と呼ぶ。エヌビディアのH100で計算すると、8ビットの演算性能は毎秒1,979兆回 (疎行列の高速化を使わない場合)、メモリーの転送速度は毎秒3.35テラバイトなので、境界は1バイトあた…
processors 7. LPU — メモリーを演算器の隣に置く。リアルタイムの言語モデル推論
…数千トークンを同時に計算するため演算強度が高く、演算律速になる。後半は1トークンずつの生成 (デコード) で、こちらはメモリー律速である。1件のリクエストの中で、ボトルネックが演算からメモリーへ切り替わる。 この性質を踏まえ、前半と後半を別々の装置に担当させる推論システムの設計が広がっている。前半は演算性能の高い装置、後半はメモリーの転送速度が高い装置に割り当て、途中の計算結果を装置間で受け渡す。エヌビディアがグロックの技術を取り込んだ狙いも、後半を担う装置の選択肢を自社で持つことにあると考えられる (記者の見立て)。利用者が体感する「最初の1トークンが出るまでの時間」は前半で、「文章が表示されていく速さ」は後半で決まる。 グロックの設計 — 動作が状況で変わる回路をすべて取り除く LPUは米グロックの製品名で、設計の内容は同社が2020年の国際学会で公表した。創業者は、グーグルで第1世代…
関連する用語
出典・注記: 第IX部 計算機 の新設に伴い採用 (2026-09-17)
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)