### Transformer 模型核心架构 Transformer 模型由 Vaswani 等人在《Attention Is All You Need》论文中首次提出，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），转而完全依赖自注意力机制（Self-Attention Mechanism）来建模输入序列中的全局依赖关系[^2]。该模型的核心在于通过缩放点积注意力（Scaled Dot-Product Attention）高效捕获任意两个词元之间的语义关联。 在标准的注意力函数中，查询（Query, Q）、键（Key, K）和值（Value, V）构成基本三要素。给定一组相同长度的序列作为输入，Q 和 K 的交互用于衡量不同位置间的相关性，进而生成注意力权重矩阵： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中 $ d_k $ 是 Key 向量的维度，除以 $\sqrt{d_k}$ 可防止内积过大导致 softmax 进入梯度饱和区[^1]。这种设计使得每一步的信息聚合仅需常数次操作即可完成，显著提升了并行计算效率。 ### 多头注意力机制的设计优势 为了增强模型表达能力，引入 Multi-Head Attention 结构，在多个子空间中独立执行注意力运算，并将结果拼接后投影回原始维度： $$ \text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W^O \\ \text{where } \text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V) $$ 这种方式允许模型在同一层关注来自不同表示子空间的信息，从而弥补单头注意力因加权平均造成的表征损失[^1]。实验表明，多头结构能有效提升对复杂句法和语义模式的学习能力。 ### 位置编码的重要性与实现方式 由于 Transformer 不具备 RNN 或 CNN 中天然的时间或局部感知特性，因此必须显式注入位置信息。采用正弦和余弦函数构建绝对位置编码： $$ PE_{(pos,2i)} = \sin(pos / 10000^{2i/d})\\ PE_{(pos,2i+1)} = \cos(pos / 10000^{2i/d}) $$ 此方法不仅可学习到绝对位置，还隐含支持相对位置推导——利用三角恒等式可知，$ PE_{k+p} $ 可被表示为 $ PE_k $ 的线性变换，便于模型识别偏移不变的语言规律[^2]。 ### 编码器-解码器框架与残差连接 整个模型由 N=6 层堆叠的编码器和解码器组成。每一层均包含一个多头自注意力模块以及前馈全连接网络（FFN）。所有子层输出都经过 Layer Normalization 并配合残差连接（Residual Connection），即： $$ \text{LayerNorm}(x + \text{Sublayer}(x)) $$ 相较于 Batch Normalization，Layer Norm 更适用于变长序列任务，因其沿特征维度标准化而非批次维度，更适合自然语言处理场景[^3]。 ### 自注意力机制的工作逻辑 对于每一个输入词元，self-attention 动态分配权重以融合上下文中其他词元的信息。具体而言，当处理某个词语时，模型不再像 RNN 那样逐步传递状态，而是直接评估它与其他所有词的相关程度，提取最相关的背景线索加以整合[^4]。这实现了真正的双向上下文理解，也是 BERT 类预训练模型成功的基础。 ### 实现示例：PyTorch 版本简化代码 ```python import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super(PositionalEncoding, self).__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1).float() div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0) self.register_buffer('pe', pe) def forward(self, x): return x + self.pe[:, :x.size(1)] class SelfAttentionBlock(nn.Module): def __init__(self, embed_dim, num_heads): super(SelfAttentionBlock, self).__init__() self.mha = nn.MultiheadAttention(embed_dim, num_heads) self.ln = nn.LayerNorm(embed_dim) def forward(self, x): attn_out, _ = self.mha(x, x, x) return self.ln(x + attn_out) ``` ### 应用与发展影响 Transformer 架构已成为现代大语言模型的事实基础。基于其衍生出诸如 BERT、GPT、T5 等系列模型，在机器翻译、文本摘要、问答系统等多个下游任务取得突破性进展。更重要的是，它的高度并行化特性契合 GPU 加速环境，大幅缩短训练周期，推动大规模预训练成为主流范式[^4]。 然而也存在局限：缺乏归纳偏置使其难以捕捉局部连续性；位置编码方案虽实用但仍属启发式手段；高内存消耗制约长序列建模能力。后续研究尝试结合 CNN 提升局部敏感性，或改用稀疏注意力优化复杂度。