ルーターネットワーク

ルーターネットワークって何？

MoE（Mixture of Experts、専門家混合）アーキテクチャでは、モデルは「ひとりで全部」をやりません。それぞれ別の分野を担当する「専門家」たちと、入口に立つ「受付」がいます。ルーターネットワーク（Router Network）はその受付役。入力が来るたびに「これはどの専門家に任せるか」を素早く判断し、仕事を割り振ります。振り分けが正確だと、モデルは強く、かつ省エネになります。

どう動くのか

採点
ルーターは各専門家に「この入力とどれだけ関連するか」の点数を付けます。
Top-kを選ぶ
全員を呼ぶのではなく、通常は点数の高い数人（たとえばTop-2）だけを選びます。
重み付きで合成
選ばれた専門家が結果を出し、ルーターが重みに応じて合成し、最終出力にします。

なぜ必要か

計算を節約
毎回少数の専門家だけを動かすので、パラメータが多くても計算量は大きくありません。
適材適所
専門家ごとに得意分野が違い、ルーティングが「正しい問題」を「正しい専門家」に回します。
拡張しやすい
能力を増やしたければ専門家を増やし、ルーターが組織化します。

課題は？

負荷の偏り
仕事が特定の「人気専門家」に集中すると、他は遊んでしまいます。負荷分散の仕組みが必要です。
学習の不安定さ
ルーティングの選択は離散的で、勾配をうまく流す工夫が学習に必要です。

まとめ：ルーターネットワークはMoEの「指令センター」。各問題を最適な専門家へ回し、速く省エネに動かします。