FLOPSとは
読み: ふろっぷす Floating point Operations Per Second AI計算資源・大規模モデルの用語
FLOPSとは、1秒あたりの浮動小数点演算回数。AIの計算資源の基本単位で、モデルの訓練量は「総FLOPs」で見積もる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第I部 基礎 ① 計算資源とは何か — AIの能力は演算の堆積である
…1.1 単位系 — FLOPS・TOPS・トークン・GPU時間 AIの世界で飛び交う単位は、突き詰めると「演算の速さ」「演算の総量」「言葉の量」の3種類しかない。 投資判断で混同しやすいのは、FLOPS (速さ=フロー) と FLOP (総量=ストック) の区別である。 日本語の「1トークン=約1〜2文字」は目安である。各社は日本語の公式な文字対トークン比を公表しておらず、 比率はトークナイザによって変わる。課金の見積りをするなら自社の文書で実測するのが唯一確実な方法になる。 1.2 数値精度 — なぜ「桁を削る」と速くなるのか 同じチップでも、数値の桁数 (ビット幅) を半分にすれば理論上2倍の演算が通る。 AI訓練は厳密な小数精度を必要としないことが経験的に分かっており、業界は FP32→BF16→FP8 と精度を意図的に落として速度を買う方向に進化してきた。 カタログの「○○ PF…
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
「1750億パラメータ」「1兆パラメータ」のパラメータとは、モデル内部の重み行列を構成する数値1個1個のことである。 単位のB (Billion) は10億個。訓練とは、この膨大な数値の集合を、データに合うように少しずつ調整し続ける作業に他ならない。 3.1 規模の3区分 — 小型・中型・大型 パラメータは「個数」だが、実務ではそのままメモリ必要量に換算される (FP16なら1個2バイト。175Bモデルの重みだけで350GB)。 これがモデル規模と必要GPU数を直結させる。 10B・100Bという境界に公式の定義はない。本ページが説明のために置いた便宜的な区分である。 なおモデルファミリー名だけでは区分できない点にも注意がいる。たとえばGemmaもPhiも10Bを超えるモデルを含むため、 上表ではサイズを明記した。 3.2 スケーリング則 — 規模がそのまま性能になる、ただし作法が変わった…
関連する用語
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)