¿Qué es el mecanismo de atención?
Cuando lees una frase, tu atención se posa en las palabras que importan. En «María le pasó la manzana a Sam», tu mente conecta quién dio, qué dio y a quién. El mecanismo de atención permite que un modelo imite esa capacidad de «mirar de forma selectiva».¿Qué problema resolvió?
Los modelos viejos tenían mala memoriaLas redes recurrentes leían palabra por palabra, así que al final de una frase larga el inicio quedaba borroso.
La atención deja que cada palabra «encuentre» a sus compañeras
Con ella, cuando el modelo procesa «manzana», puede volver atrás y conectar con «María» y «Sam» por muy lejos que estén.
¿Cómo se calcula?
Query, Key y ValuePiéntalo como una búsqueda. Cada palabra lanza una consulta (Query); las demás muestran sus etiquetas (Key); el modelo mide cuánto encajan y asigna a cada una un peso según ese encaje.
Suma ponderada
Al final suma las palabras relevantes según esos pesos, y obtiene la información a la que esta posición debería prestar atención.
¿Por qué importa tanto?
La atención permite a los modelos procesar texto largo en paralelo y captar dependencias a larga distancia. Es el corazón del Transformer y el punto de partida de capacidades modernas como traducir, escribir o generar código. Sin atención, no habría grandes modelos de lenguaje.En resumen: el mecanismo de atención enseña a la IA a «mirar a quien importa» mientras lee una frase.
Comentarios