FLOPSとは
読み: ふろっぷす Floating point Operations Per Second AI計算資源・大規模モデルの用語
FLOPSとは、1秒あたりの浮動小数点演算回数。AIの計算資源の基本単位で、モデルの訓練量は「総FLOPs」で見積もる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
第I部 基礎 ① 計算資源とは何か — AIの能力は演算の堆積である
大規模モデルは、訓練 (学習) 中も回答生成 (推論) 中も、底の底では天文学的な回数の掛け算と足し算を繰り返しているだけである。 「計算能力が強い」とは、同じ算数の問題群を、誰がより速く・より効率よく・誤りなく解き切れるかに尽きる。 1.1 単位系 — FLOPS・TOPS・トークン・GPU時間 AIの世界で飛び交う単位は、突き詰めると「演算の速さ」「演算の総量」「言葉の量」の3種類しかない。 投資判断で混同しやすいのは、FLOPS (速さ=フロー) と FLOP (総量=ストック) の区別である。 日本語の「1トークン=約1〜2文字」は目安である。各社は日本語の公式な文字対トークン比を公表しておらず、 比率はトークナイザによって変わる。課金の見積りをするなら自社の文書で実測するのが唯一確実な方法になる。 1.2 数値精度 — なぜ「桁を削る」と速くなるのか 同じチップでも、数値の桁数 …
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
「1750億パラメータ」「1兆パラメータ」のパラメータとは、モデル内部の重み行列を構成する数値1個1個のことである。 単位のB (Billion) は10億個。訓練とは、この膨大な数値の集合を、データに合うように少しずつ調整し続ける作業に他ならない。 3.1 規模の3区分 — 小型・中型・大型 パラメータは「個数」だが、実務ではそのままメモリ必要量に換算される (FP16なら1個2バイト。175Bモデルの重みだけで350GB)。 これがモデル規模と必要GPU数を直結させる。 10B・100Bという境界に公式の定義はない。本ページが説明のために置いた便宜的な区分である。 なおモデルファミリー名だけでは区分できない点にも注意がいる。たとえばGemmaもPhiも10Bを超えるモデルを含むため、 上表ではサイズを明記した。 3.2 スケーリング則 — 規模がそのまま性能になる、ただし作法が変わった…