MoEとは
読み: もえ Mixture of Experts AI計算資源・大規模モデルの用語
MoEとは、入力ごとにルーターが一部の専門家 (部分ネットワーク) だけを起動する構造。総パラメータを増やしつつ計算量を抑える、大型モデルの主流設計。
3段で深く知る — 基礎・高級・投資家視点
1行の定義から、体系解説の該当箇所へそのまま降りられる。各段の抜粋は解説本文の冒頭で、続きはリンク先にある。
第II部 仕組み ② AIの仕組み — なぜ次の1語が当たるのか
前章で見たとおり、AIの正体は掛け算と足し算の堆積である。ではその演算は何を計算しているのか。 本章は言葉が数値になり、文脈が行列になり、確率から1語が選ばれて戻ってくるまでを追う。 ここを押さえると、後章のトークン原価・KVキャッシュ・MoEの経済性が、比喩ではなく物理として読める。 1トークンが出るまでの処理の流れ 入力文をトークンに分け、埋め込みと位置情報を与え、Transformerブロックを繰り返し通し、ロジットから確率を計算して1トークンを選び、それを末尾に足して再び戻る自己回帰の流れ。KVキャッシュは繰り返しのたびに再利用され、増え続ける。 入力文「AIの仕組みを教えて」 ① トークン化 AI の 仕組 みを 教えて 単語ではなく統計で決めた切れ目 ② 埋め込み + 位置情報 数百〜数千次元のベクトル列 ③ Transformerブロック × N層 注意機構 (全トークン対の…
第II部 仕組み ③ 大規模モデルの構造 — パラメータの正体
「1750億パラメータ」「1兆パラメータ」のパラメータとは、モデル内部の重み行列を構成する数値1個1個のことである。 単位のB (Billion) は10億個。訓練とは、この膨大な数値の集合を、データに合うように少しずつ調整し続ける作業に他ならない。 3.1 規模の3区分 — 小型・中型・大型 パラメータは「個数」だが、実務ではそのままメモリ必要量に換算される (FP16なら1個2バイト。175Bモデルの重みだけで350GB)。 これがモデル規模と必要GPU数を直結させる。 10B・100Bという境界に公式の定義はない。本ページが説明のために置いた便宜的な区分である。 なおモデルファミリー名だけでは区分できない点にも注意がいる。たとえばGemmaもPhiも10Bを超えるモデルを含むため、 上表ではサイズを明記した。 3.2 スケーリング則 — 規模がそのまま性能になる、ただし作法が変わった…