混合精度とは
読み: こんごうせいど Mixed Precision AI計算資源・大規模モデルの用語
混合精度とは、学習の計算を16ビットや8ビットで行い、値が消えやすい小さな更新量だけを32ビットの原本で保持する方式。速度とメモリーの節約を両立する。標準的な方法では1パラメータにつき合計16バイトのメモリーを使い、700億パラメータの学習には1.12テラバイトが必要になる。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
processors 4. GPU — 判断を捨てて数を取った。学習と並列の数学
ひとことで言うと — GPUは「同じ計算を、違うデータに、同時に何千回も当てる」ための計算機である。画面の点を1つずつ塗る仕事のために生まれ、行列の掛け算が同じ形をしていたので、深層学習の主役になった。 同じ命令の束 — 32本の糸が足並みをそろえて進む GPUの演算核は、1つひとつが自分で判断する力をほとんど持たない。エヌビディアの方式では、仕事は「糸」(スレッド) と呼ぶ小さな単位に分けられ、32本が1組になって同じ命令を同時に実行する。組のことを縦糸 (ワープ) と呼ぶ。32本が同じ命令を別々のデータに当てるかぎり、判断の回路は1組に1つで済み、浮いた面積を演算器に回せる。条件分岐で32本の行き先が割れると、片方が待たされて効率が落ちる。GPUが「判断の多い仕事」に弱いのは、この構造による。 行列の演算器 — 4×4の掛け算を1命令で 2017年の世代から、エヌビディアは行列の掛け算…
関連する用語
出典・注記: 第IX部 計算機 の新設に伴い採用 (2026-09-17)
🧰 ツール・特集の入口
一次データで動く 11 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)