幻覚とは
読み: げんかく Hallucination AI計算資源・大規模モデルの用語
幻覚とは、モデルが事実でない内容を自信を持って出力する現象。「最も確からしい次の語」を選ぶ設計の必然であり、根絶ではなく抑制と検証で扱う。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…