訓練と推論とは
読み: くんれんとすいろん Training / Inference AI計算資源・大規模モデルの用語
訓練と推論とは、訓練=モデルの重みを作る工程、推論=作った重みで答えを生成する工程。同じGPUでも商売としては別物で、収益の主戦場は推論に移っている。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
第I部 基礎 ① 計算資源とは何か — AIの能力は演算の堆積である
大規模モデルは、訓練 (学習) 中も回答生成 (推論) 中も、底の底では天文学的な回数の掛け算と足し算を繰り返しているだけである。 「計算能力が強い」とは、同じ算数の問題群を、誰がより速く・より効率よく・誤りなく解き切れるかに尽きる。 1.1 単位系 — FLOPS・TOPS・トークン・GPU時間 AIの世界で飛び交う単位は、突き詰めると「演算の速さ」「演算の総量」「言葉の量」の3種類しかない。 投資判断で混同しやすいのは、FLOPS (速さ=フロー) と FLOP (総量=ストック) の区別である。 日本語の「1トークン=約1〜2文字」は目安である。各社は日本語の公式な文字対トークン比を公表しておらず、 比率はトークナイザによって変わる。課金の見積りをするなら自社の文書で実測するのが唯一確実な方法になる。 1.2 数値精度 — なぜ「桁を削る」と速くなるのか 同じチップでも、数値の桁数 …
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…
第III部 経済 ⑥ 計算資源提供事業の経済性 — GPU 1基の収支から読む
本節が本ページの核心である。計算資源提供 (GPUクラウド) は「GPUを買って時間貸しする」だけの単純な商売に見えるが、 収益性は稼働率・契約形態・電力原価・陳腐化速度の4変数でほぼ決まる。 以下は概算モデル (推定値は明記) と、業界内では常識だが対外的にはあまり語られない実務数値である。 6.1 GPU 1基の収支モデル (H100級・概算) この表の性格 — 外部機関の推計ではなく、本ページの試算である 取得原価はNVIDIAが公表していない。市場で報じられた水準を置いたものであり、一次情報は存在しない 稼働率は公開されない数字。事業者が開示しないため、ここでは幅を置いた仮定にとどまる 電力・冷却原価はGPUを実効1kW、PUEを織り込まない前提での概算。実際はサーバ側の消費とPUEが乗って1.2〜1.6kW相当になるため、下限は現実には出にくい したがってこの表に出典リンクは付け…