訓練と推論とは
読み: くんれんとすいろん Training / Inference AI計算資源・大規模モデルの用語
訓練と推論とは、訓練=モデルの重みを作る工程、推論=作った重みで答えを生成する工程。同じGPUでも商売としては別物で、収益の主戦場は推論に移っている。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第I部 基礎 ① 計算資源とは何か — AIの能力は演算の堆積である
…変電所・送電網の新設は5〜10年単位で、シリコンより遅い (詳細は⑦設備編と⑥の裏事情) 1.5 訓練 (学習) と推論 (生成) — 同じGPUでも別の商売 同じ演算でも、訓練と推論では計算の性質・失敗の許容度・お金の流れ方がまったく違う。 投資対象としての計算資源事業を見るときは、顧客が訓練需要か推論需要かで収益の安定性が変わる点が重要になる。 計算量には広く使われる目安式がある。訓練は C ≈ 6 × パラメータ数 × 学習トークン数、 推論は1トークンあたり約2×有効パラメータ数 (単位はFLOP)。 GPT-3で検算すると 6 × 1,750億 × 3,000億トークン ≈ 3.15×10²³ FLOP となり、公表値 (約3.14×10²³) とほぼ一致する。 この式1本で「モデル規模と学習データ量から必要GPU数と費用」を逆算でき、本ページ⑥の収支モデルの土台になる。 1.6…
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
…2.4 学習時と推論時、計算の中身は何が違うのか ①1.5節では訓練と推論を「別の商売」として区別した。 ここでは同じ区別を計算とメモリの中身から見る。要点は、学習ではメモリの大半が重み以外に消えること、 そして推論では重みが1ビットも動かないことである。後者は情報漏洩の議論で最も誤解される点でもある。 2.5 MoEの動作原理 — ルーターが専門家を選ぶ ③3.2節の系譜表が示すとおり、総パラメータと有効パラメータの乖離は MoEによって生まれる。ただし「専門家」は人が分野を割り当てたものではない。 ルーターが学習の結果として勝手に作った分業であり、医療担当や法律担当が居るわけではない。 そして本ページで最も実務的に重要な誤解がここにある。MoEで安くなるのは演算であって、GPUメモリではない。 総パラメータ分の重みは常時メモリに載せておく必要があり、この一点が中小事業者にとっての参入…
第III部 経済 ⑥ 計算資源提供事業の経済性 — GPU 1基の収支から読む
本節が本ページの核心である。計算資源提供 (GPUクラウド) は「GPUを買って時間貸しする」だけの単純な商売に見えるが、 収益性は稼働率・契約形態・電力原価・陳腐化速度の4変数でほぼ決まる。 以下は概算モデル (推定値は明記) と、業界内では常識だが対外的にはあまり語られない実務数値である。 6.1 GPU 1基の収支モデル (H100級・概算) この表の性格 — 外部機関の推計ではなく、本ページの試算である 取得原価はNVIDIAが公表していない。市場で報じられた水準を置いたものであり、一次情報は存在しない 稼働率は公開されない数字。事業者が開示しないため、ここでは幅を置いた仮定にとどまる 電力・冷却原価はGPUを実効1kW、PUEを織り込まない前提での概算。実際はサーバ側の消費とPUEが乗って1.2〜1.6kW相当になるため、下限は現実には出にくい したがってこの表に出典リンクは付け…
関連する用語
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)