自己回帰生成とは

第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか

前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…

→ 続きを読む (体系解説)

第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか

前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…

→ 続きを読む (体系解説)

第III部 経済 ④ 収益化の構造 — トークンはどう金に変わるか

モデル提供社の収益は大きく個人購読 (月額定額) と企業向けトークン従量課金 (API) の2本柱で、 これに大企業向けの専用容量契約が加わる。価格を決める変数は有効パラメータ量・文脈長・速度の3つに集約される。 4.1 個人購読 — 定額制は「保険」の商売である 月額20ドル前後の購読は、軽い利用者の払い過ぎが重い利用者の原価を補助する保険型の収益構造である。 提供側は利用上限・混雑時制限で重利用者の原価を抑え、全体で粗利を成立させる。 解約率が低く売上が読めるため、資本市場はAPI売上より購読売上を高く評価する傾向がある。 4.2 トークン従量課金 — 価格表の読み方 API価格は「入力100万トークンあたり / 出力100万トークンあたり」で表示される。 出力が入力の約5倍高いのは気まぐれではなく、入力の読込 (プリフィル) は一括並列で安く処理できるのに対し、 出力の生成 (デコー…

→ 続きを読む (体系解説)