Red de enrutamiento

¿Qué es una red de enrutamiento?

En una arquitectura Mixture-of-Experts (MoE), un único modelo no hace todo el trabajo solo. Hay un grupo de «expertos», cada uno cubriendo un área distinta, y un despachador en la puerta. La red de enrutamiento es ese despachador: por cada entrada, decide rápido qué expertos deben encargarse y les pasa la tarea. Si enruta bien, el modelo es fuerte y barato a la vez.

¿Cómo funciona?

Puntuación
El enrutador da a cada experto una nota de lo relevante que es para esa entrada.
Elegir Top-k
Normalmente selecciona solo a los pocos mejores — digamos Top-2 — en vez de despertar a todos.
Fusión ponderada
Los expertos elegidos producen su salida, y el enrutador las combina por peso en el resultado final.

¿Por qué la necesitamos?

Ahorra cómputo
Solo se activan unos pocos expertos por petición, así que muchos parámetros no implican mucho cómputo.
El experto adecuado, el trabajo adecuado
Cada experto se especializa en un área; el enrutado empareja la pregunta correcta con el experto correcto.
Escala
¿Quieres más capacidad? Añade expertos y deja que el enrutador los organice.

¿Cuáles son los retos?

Carga desigual
Si las tareas siempre caen en unos pocos expertos «populares», el resto se queda ocioso — hace falta equilibrar la carga.
Inestabilidad en el entrenamiento
Las decisiones de enrutado son discretas, así que el entrenamiento necesita trucos para que el gradiente fluya bien.

En resumen: la red de enrutamiento es el centro de control del MoE — manda cada pregunta a los expertos adecuados, manteniendo todo rápido y barato.