Mixture of Experts（MoE）

Mixture of Experts（MoE）って何？

従来の大規模モデルは、どの質問にも全パラメータを「通電」させます。大きなオフィスで、誰が来ても全部署が対応するようなもの。MoE（専門家混合）は、モデルを多数の「専門家」ネットワークに分け、その都度、質問に一番関係のある数人だけに働いてもらい、他は休ませます。速く、そして安く。

どう「専門家を選ぶ」のか

ルーター（Router）
振り分け役の「門番」が入力をひと目見て、どの専門家に任せるかを決めます。
少数だけ起動
専門家が100人いても、1回で起動するのは2〜3人。計算量はぐっと減ります。

なぜ安く速くなるのか

パラメータは多く、計算は少なく
MoEは膨大なパラメータ（大きな知識容量）を持ちながら、推論で使うのはごく一部。だから速い。
専門家ごとに得意分野
コードが得意な専門家、数学が得意な専門家。分担することで全体の力が上がります。

何が代償か

専門家が増えるほどメモリ（全員を保存しておく必要）と、訓練・振り分けの複雑さが増します。「負荷の偏り」も起きがちで、特定の専門家ばかり呼ばれて疲弊し、他は暇を持て余す。それを均すには、また別の工夫が必要です。

まとめ：Mixture of Expertsは「大部隊を抱えつつ小分隊で働く」。少数の専門家の計算で、超巨大モデルの能力を引き出します。