注意機構（アテンション）

注意機構（アテンション）って何？

文章を読むとき、人の意識は大事な言葉に自然と向きます。「美咲が太郎にリンゴを渡した」——「誰が、何を、誰に」を頭の中でつなげます。注意機構は、この「選んで見る」能力をモデルに真似させる仕組みです。

何を解決したのか

昔のモデルは記憶が弱い
再帰型ネットワークは1語ずつ読むため、長い文の終わりでは最初の方がぼやけていました。
アテンションで各単語が「相手を探す」
これがあれば、「リンゴ」を処理するとき、どれだけ離れていても「美咲」「太郎」へ直接つながれます。

どう計算するのか

クエリ・キー・バリュー
「検索」と考えるとわかりやすい。各単語が質問（クエリ）を出し、ほかの単語が自分の札（キー）を見せ、モデルがどれだけ合うかを比べて、合い具合で各単語に「重み」を割り当てます。
重み付きの合計
最後に関連する単語を重みで足し合わせ、その位置が「本当に注目すべき情報」を得ます。

なぜこれほど重要なのか

アテンションのおかげで、モデルは長い文を並列に処理し、遠くの関係も捉えられます。Transformerの心臓部であり、翻訳・文章生成・コード生成など、現代のAI能力の出発点です。アテンションがなければ、今の大規模モデルは存在しません。

まとめ：注意機構は、AIが文を読むとき「見るべき相手をきちんと見る」ための仕組みです。