注意機構とは
読み: ちゅういきこう Attention AI計算資源・大規模モデルの用語
注意機構とは、文中のどの語を重視するかを重み付けする仕組み。文脈理解の正体であり、計算量が文脈長の2乗で増えるため計算資源問題の根源でもある。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
…入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の関連度) 系列長の2乗に比例 前向き層 (FFN) パラメータの多くを占める KVキャッシュ 過去トークンの計算結果を保存し、 次の1トークンで再利用する 生成が進むほど増え続ける ④ ロジット (語彙数分のスコア) まだ確率ではない ⑤ 温度で割って softmax → 1個選ぶ ここが「同じ質問でも 答えが変わる」原因 出力トークン 1個 末尾に足して、また①へ (自己回帰) 図1: 1トークンが出るまでの縦断面。回答が1文字ずつ出るのは演出ではなく、 1トークンごとに③を全層通し直しているためである。長文脈が高くつく理由 (注意機構とKVキャッシュ…
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
ホーム › AI企業 › 計算資源・モデル 体系解説 › 第II部 仕組み 第II部 仕組み ｜ AI計算資源・大規模モデル 体系解説 LLMの仕組み — トークン化・注意機構・MoE 大規模言語モデルの動作原理を解説。トークン化と埋め込み、注意機構とTransformer、自己回帰生成、幻覚が起きる仕組み、MoEの動作原理、パラメータの正体まで出典つきで一段ずつ分解する。 第II部 仕組み — モデルは何をしているのか ② AIの仕組み — なぜ次の1語が当たるのか 前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力…
関連する用語
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)