混合精度とは
読み: こんごうせいど Mixed Precision AI計算資源・大規模モデルの用語
混合精度とは、学習の計算を16ビットや8ビットで行い、値が消えやすい小さな更新量だけを32ビットの原本で保持する方式。速度とメモリーの節約を両立する。標準的な方法では1パラメータにつき合計16バイトのメモリーを使い、700億パラメータの学習には1.12テラバイトが必要になる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
processors 4. GPU — 判断を捨てて数を取った。学習と並列計算の主役
…このため学習は16ビットを基本とし、値が消えやすい部分だけを32ビットで保持し、影響の小さい部分は8ビットに落とす混合精度で行う。H100以降のGPUは、層ごとに数値の分布を調べ、8ビットと16ビットを自動で切り替える機構を備えている。 1基に収まらないモデルは、層ごとに分ける、行列を分割する、データを分ける、という3つの方法を組み合わせて数千基に分散させる。分割した境界では毎回データをやり取りするため、GPU間接続の通信容量が学習の速度を左右する。エヌビディアの最新のラック型システムは、72基を毎秒130テラバイトで相互接続し、1つの巨大なGPUのように扱う。GPUが学習に選ばれる理由は、演算器・メモリー・GPU間接続の3つがそろっていることと、その上で動くソフトウエアの蓄積が最も厚いことにある。同社が2007年に公開した開発環境「CUDA」は、研究論文のプログラムの大半が前提にしており…
関連する用語
出典・注記: 第IX部 計算機 の新設に伴い採用 (2026-09-17)
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)