Modelo de lenguaje pequeño

¿Qué es un modelo de lenguaje pequeño (SLM)?

No todo trabajo necesita un gigante de billones de parámetros. Un modelo de lenguaje pequeño (SLM) tiene muchos menos parámetros y aun así resuelve tareas: de cientos de millones a unos pocos miles de millones, lo bastante ligero para correr localmente en un móvil, un portátil o incluso un dispositivo embebido.

¿Cómo se compara con un modelo grande?

El techo es más bajo
En razonamiento complejo y conocimiento vasto, un SLM no llega al nivel de un modelo grande. No le pidas ganar olimpiadas de matemáticas ni escribir una tesis.
La contrapartida: rápido, barato, privado
Al ser pequeño, corre rápido, consume poco y funciona sin conexión. Y como los datos no salen del dispositivo, la privacidad queda mucho más a salvo.

¿Para qué sirve?

Asistentes en el dispositivo
Asistentes de voz, sugerencias de teclado, ordenar fotos: todo en local, sin enviar cada frase a la nube.
Tareas verticales
Atención al cliente, control de calidad de llamadas, autocompletado de código: para trabajos «suficientemente buenos», un SLM da de sobra.
Sin conexión y con privacidad
En medicina o finanzas, donde los datos son sensibles, correr un SLM local evita el riesgo de subirlos.

¿Por qué está en auge?

Con técnicas de «adelgazamiento» como la destilación, la cuantización y la poda, los SLM ganan capacidad a coste muy bajo. Para muchas empresas, un modelo suficiente, barato y controlable gana a un gigante «el más potente pero caro».

En resumen: un modelo de lenguaje pequeño es «lo bastante listo» — no es enorme, pero es tan pequeño que lo tienes a mano y lo usas sin preocuparte.