Lu¿Qué es la destilación de conocimiento?
¿Alguna vez has visto esos modelos de IA con cientos de miles de millones de parámetros? Hacen que los ventiladores de tu PC griten y jamás cabrían en un móvil. Pero en el mundo real, nadie quiere esperar medio minuto para que una app suelte una palabra. Así que los investigadores se inventaron un truco sucio: dejar que un modelo gigante haga de profesor, entrenar a uno pequeño como alumno, y exprimir toda la “sabiduría” del profesor en el alumno. Eso es la destilación de conocimiento.
¿Cómo se “expime”? No se trata de darle al alumno las respuestas finales del profesor—eso es copiar y pegar, sin gracia. La clave es: cuando el profesor procesa unos datos, no solo da la etiqueta correcta, sino que también escupe su “distribución de probabilidad” interna. Por ejemplo, al reconocer una imagen, el profesor piensa: perro = 0,85, lobo = 0,12, zorro = 0,03. El alumno no solo aprende “es un perro”, sino toda la proporción 0,85, 0,12, 0,03. Ese vector de probabilidades lleva el “rastro de razonamiento” del profesor—sabe que el perro se parece más al lobo que a un coche. Al tragarse esa relación, el alumno alcanza el 80‑90% del rendimiento del profesor con una fracción de los parámetros.
La recompensa es obvia: modelo más pequeño, mucho más rápido, menos RAM y electricidad, y cabe en móviles, navegadores y dispositivos integrados. ¿Desventajas? La destilación en sí consume tiempo y recursos, y el alumno nunca superará al profesor—tiene un techo. Peor aún, si el profesor tiene sesgos o alucinaciones, el alumno los hereda enteros.
La destilación de conocimiento es la “alternativa económica” del mundo IA. Cambias una pequeña caída de rendimiento por un ahorro brutal en coste y velocidad. No es porque quieras, sino porque el mundo real no puede correr los modelos grandes.
Comentarios