Transformer

Transformer 是什么？

Transformer 是 2017 年 Google 团队在一篇论文里提出的神经网络架构。它的出现像一颗深水炸弹——把之前处理文本的旧思路炸得七零八落，成了今天几乎所有大语言模型的共同底座。GPT、Claude、Gemini，底层都是它。

它解决了什么问题？

旧的循环神经网络（RNN）太慢
以前处理一句话，模型要一个字一个字地读，读完前一个才能读后一个，没法并行，句子一长就「忘事」或变慢。
Transformer 一次看全句
它靠「注意力机制」让每个词直接「看」到整句话里所有其他词，一次并行处理，又快又记得住。

它的结构大概长什么样？

编码器 + 解码器
经典版本分两部分：编码器负责「读懂」输入，解码器负责「生成」输出。翻译任务就是「读一句、写一句」。
多头注意力
不只一种「看」法，而是多组注意力同时开火，从不同角度捕捉词与词的关系。
位置编码
因为是一次并行处理，模型本身不知道词的顺序，所以要额外告诉它「谁在前、谁在后」。

为什么它统治了 AI？

它可扩展性强——只要数据、算力、模型尺寸往上加，能力就跟着涨，几乎没有天花板。这就是「规模定律」（Scaling Law）的舞台，也是大模型时代的起点。

一句话记住：Transformer 靠「注意力」并行读全句，是现代大语言模型的共同地基。