記憶律速とは
読み: きおくりっそく Memory-bound 半導体の用語
記憶律速とは、計算機の速さが演算器ではなく記憶から運べる速度で頭打ちになる状態。到達できる速さは「演算器の最高速度」と「記憶の帯域×演算密度」の低い方で決まり、演算密度 (1バイト運ぶごとの演算回数) が小さい仕事は記憶律速に落ちる。大規模言語モデルの推論は1語ごとに重みを全部読むため典型例で、5つの計算機の設計はいずれもここから逃げるための記憶の置き方の違いにあたる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第III部 設計する
…6.5 記憶が計算を縛る — なぜ推論は「記憶律速」になるのか 5つの設計が記憶の置き方で分かれる理由は、1本の不等式で説明できる。計算機が出せる速さは、演算器の最高速度と、記憶から運べる速度のうち低い方で決まる。 到達できる速さ ＝ min ( 演算器の最高速度 , 記憶の帯域 × 演算密度 ) 演算密度 ＝ 記憶から1バイト運ぶごとに何回の演算ができるか。この比が小さい仕事は、演算器がいくら速くても記憶の帯域で頭打ちになる。これを記憶律速と呼び、比が大きい仕事を演算律速と呼ぶ。 大規模言語モデルの推論は、この比が極端に小さい。1語を生成するたびにモデルの重みを全部読み出す必要があるためで、1,000億パラメータを8ビットで持てば約100GBを、1語ごとに記憶から演算器へ運ぶことになる。H100 の記憶帯域は毎秒3.35TBだから、100GBの読み出しだけで約30ミリ秒かかり、その間の…
関連する用語
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)