路由网络

路由网络是什么？

在 MoE（混合专家）架构里，模型不是「一个人干全部活」，而是有一群「专家」各管一块，还有一位「调度员」站在门口。路由网络（Router Network）就是这位调度员：每条输入来了，它先快速判断「这个该找哪几位专家」，然后把任务分过去。分得准，模型才能又强又省。

它怎么工作？

打分
路由器给每个专家打一个分数，衡量「这个输入和你有多相关」。
选 Top-k
通常只挑分数最高的几个专家（比如 Top-2），而不是让所有人都上。
加权汇总
被选中的专家各自给出结果，路由器再按权重把它们合成最终输出。

为什么需要它？

省算力
每次只激活少数专家，参数虽多，实际计算量却不大。
专事专办
不同专家擅长不同领域，路由让「对的专家」处理「对的问题」。
可扩展
想加能力，就往里加专家，路由负责把它们组织起来。

它有哪些挑战？

负载不均
如果总把任务塞给几个「热门专家」，其他专家就闲置了，需要加均衡机制。
训练不稳定
路由选择是离散的，训练时要靠技巧让梯度顺利回传。

一句话记住：路由网络就是 MoE 的「调度中心」——把每个问题派给最合适的专家，又快又省。