注意力机制是什么？
读一句话时，你的注意力会自动聚焦在关键的字眼上。比如「小明把苹果给了小红」——你会在「谁给、给了什么、给谁」之间来回建立联系。注意力机制，就是让模型模仿这种「有选择地看」的能力。它解决了什么问题？
旧模型「记性」不好以前的循环神经网络一次只读一个词，读到句尾时，句首的信息已经模糊了。
注意力让每个词都能「找人」
有了它，模型处理「苹果」这个词时，能直接去和「小明」「小红」建立联系，不管它们隔得多远。
它是怎么算的？
Query、Key、Value可以把它想成一次「检索」：每个词发出一句「查询」（Query），其他词亮出自己的「标签」（Key），模型比对它们有多匹配，再按匹配度给每个词分配「权重」（Value）。
加权求和
最后把相关的词按权重加在一起，就得到了这个位置「真正该关注」的信息。
为什么它这么重要？
注意力机制让模型能并行处理长文本、抓住远距离的依赖关系，是 Transformer 的核心，也是翻译、写作、代码生成等一切现代 AI 能力的起点。可以说，没有注意力，就没有今天的大模型。一句话记住：注意力机制，就是让 AI 读句子时「该看谁就看谁」。
评论