Transformer模型是2017年Google在《Attention Is All You Need》中提出的革命性架构，彻底摒弃了RNN/CNN结构，完全基于**自注意力机制（Self-Attention）**实现序列建模。其核心组件包括： ✅ **多头自注意力（Multi-Head Self-Attention）**： 将输入序列的每个位置映射为Q（Query）、K（Key）、V（Value）三组向量；通过计算Q与K的点积缩放注意力得分（Scaled Dot-Product Attention），再加权求和V，捕获全局依赖关系。"多头"指并行运行h组不同线性投影的注意力子层（如h=8），使模型能同时关注不同子空间的特征（如语法、语义、指代等），最后拼接并线性变换输出。 ✅ **位置编码（Positional Encoding）**： 因Transformer无固有顺序感知能力，需显式注入位置信息。原论文采用**正弦/余弦函数编码**（可学习或固定）： \[ PE_{(pos,2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right),\quad PE_{(pos,2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) \] 该设计具备两大优势：① 允许模型外推至更长序列（因函数连续可泛化）；② 任意偏移k的位置编码可表示为原编码的线性变换（隐含相对位置建模能力）。 ✅ **富文本Transformer可视化解释**： 可通过交互式工具（如[The Annotated Transformer](http://nlp.seas.harvard.edu/2018/04/03/attention.html)、[Transformer Visualizer](https://transformervisualizer.com/)）直观观察：词元间注意力权重热力图（如“it”高度关注“animal”或“street”以解决指代消解），各层注意力头分工差异（底层关注局部邻近词，高层聚焦长程逻辑关系）。 ✅ **Transformer的升级演进**： - **效率优化**：Linformer（低秩近似）、Performer（随机傅里叶特征）、FlashAttention（IO感知计算）； - **结构增强**：ALiBi（绝对位置偏差替代PE）、RoPE（旋转位置编码，支持长上下文）； - **训练范式**：从BERT（掩码语言建模MLM）到T5（文本到文本统一框架）、LLaMA（RMSNorm + SwiGLU + RoPE）。 ✅ **BERT模型**： 基于Transformer Encoder的双向预训练语言模型，通过MLM（随机掩码预测）和NSP（下一句预测）任务学习深层语义表征，在11项NLP任务上刷新SOTA，奠定“预训练+微调”范式。 ✅ **ViT模型（Vision Transformer）**： 将图像分割为16×16像素块（patch），线性嵌入后加[CLS]标记和位置编码，送入标准Transformer Encoder。证明纯注意力架构在CV领域同样有效，尤其在大数据集（如JFT-300M）上超越CNN。 ✅ **自注意力机制本质理解**： 它是一种**动态权重生成器**——对每个token，依据其与所有token的语义相似度（Q·Kᵀ），自主决定“应关注谁、关注多少”，实现**内容驱动的、数据依赖的、可并行的特征聚合**，突破了CNN感受野固定与RNN时序串行的局限。 ```python import torch import torch.nn as nn import math class ScaledDotProductAttention(nn.Module): def __init__(self, dropout=0.1): super().__init__() self.dropout = nn.Dropout(dropout) def forward(self, Q, K, V, mask=None): # Q, K, V: (batch, head, seq_len, d_k) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(Q.size(-1)) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) attn = torch.softmax(scores, dim=-1) attn = self.dropout(attn) return torch.matmul(attn, V) # (batch, head, seq_len, d_v) ```