MoEとは
読み: もえ Mixture of Experts AI計算資源・大規模モデルの用語
MoEとは、入力ごとにルーターが一部の専門家 (部分ネットワーク) だけを起動する構造。総パラメータを増やしつつ計算量を抑える、大型モデルの主流設計。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。抜粋は体系解説でこの語が出てくる箇所から引いた。続きはリンク先にある。
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
…その後DeepMindのChinchilla研究 (2022) が「パラメータ1個あたり約20トークンのデータで訓練するのが計算効率上の最適」と示し、 さらに現在の主流はMoE (Mixture of Experts=専門家混合) へ移った。 総パラメータは巨大でも、1トークンの処理に使うのは一部の専門家だけという構造で、看板の数字と原価を切り離した。 表中の「約18分の1」「約3.2%」は本ページが総パラメータと有効パラメータの比から計算した値であり、 各社が主張している数値ではない。また実際の推論原価はこの比率どおりには下がらない。 KVキャッシュの読み出しとメモリ帯域が別途効くためで、DeepSeek-V3とKimi K2はいずれもMLAという機構でKVキャッシュ側を圧縮している。 あまり語られない要点 — 「総パラメータ」は看板の数字になった 推論原価と応答速度を決めるのは有効パ…
関連する用語
🧰 ツール・特集の入口
一次データで動く 14 本 — 銘柄の絞り込み・供給網・比較・一次データの台帳・解説・規制レンズ (すべて無料)