← 返回首页
Transformer 是什么
Transformer 是一种基于注意力机制的序列建模架构，由 Vaswani 等人在 2017 年提出。 与传统循环神经网络（RNN）逐步传递隐状态不同，Transformer 通过自注意力机制 直接建模序列中任意两个位置之间的关系，从而能够并行处理整个序列，并在长距离依赖建模上表现优异。
其核心组件包括多头自注意力层、前馈神经网络层，以及残差连接与层归一化。 编码器-解码器结构最初用于机器翻译，后续的 BERT、GPT 等模型均在此基础上演化。
自注意力公式
缩放点积注意力（Scaled Dot-Product Attention）的计算公式为：
Attention(Q, K, V) = softmax(QKT / √dk) · V
其中各符号含义如下：
- Q（Query）：查询向量，表示当前位置需要寻找的信息。
- K（Key）：键向量，表示各位置可供匹配的索引。
- V（Value）：值向量，表示匹配后实际聚合的内容。
- √dk：缩放因子，当 dk 较大时点积值会急剧增大， 导致 softmax 进入梯度极小的区域；除以 √dk 可使点积保持在合理量级。
多头注意力
多头注意力（Multi-Head Attention）将 Q、K、V 分别投影到 h 个不同的低维子空间， 在每个子空间中独立计算注意力，最后将结果拼接并再次线性变换。
这相当于让模型从多个表示子空间同时观察同一序列，从而捕获不同层面的语义关系 （例如局部搭配与长程依赖）。需要强调的是，多头注意力并非「多个模型并行运行」， 而是在同一模型内使用多组注意力头，共享参数的同时扩展表达能力。