Transformer模型是一种基于**自注意力机制（Self-Attention Mechanism）** 的深度神经网络架构，由Google在2017年的论文《Attention Is All You Need》中首次提出，旨在解决序列到序列（Seq2Seq）任务，特别是机器翻译中的问题[ref_1][ref_2]。它彻底摒弃了循环神经网络（RNN）和卷积神经网络（CNN）在处理序列数据时的固有顺序依赖，通过并行计算和全局建模能力，不仅在自然语言处理（NLP）领域取得了革命性成功，也深刻影响了计算机视觉（CV）等领域[ref_3][ref_4]。 ### 一、核心动机与基本思想 传统RNN及其变体（如LSTM、GRU）在处理长序列时存在**梯度消失/爆炸**和**顺序计算**导致训练效率低下的问题[ref_1][ref_2]。CNN虽然可以并行计算，但其**感受野有限**，难以捕获长距离依赖关系[ref_4]。Transformer的核心思想是**完全依赖注意力机制**来建模输入和输出序列中任意两个元素之间的全局依赖关系，从而实现高效的并行化训练和更强的序列建模能力[ref_2][ref_6]。 ### 二、模型整体架构 Transformer采用**编码器-解码器（Encoder-Decoder）** 架构，但其编码器和解码器均由多层相同的层堆叠而成，而非RNN单元[ref_1][ref_5]。下图展示了其整体数据流： ``` 输入序列 -> [输入嵌入 + 位置编码] -> 编码器堆叠 -> 解码器堆叠 -> 输出序列 ``` #### 1. 编码器（Encoder） 编码器由 **N**（通常N=6）个相同的层堆叠而成。每一层包含两个核心子层： * **多头自注意力层（Multi-Head Self-Attention）**：用于计算输入序列内部所有元素之间的关系。 * **前馈神经网络层（Position-wise Feed-Forward Network）**：一个全连接网络，独立且相同地应用于每个位置。 每个子层周围都采用**残差连接（Residual Connection）** 和**层归一化（Layer Normalization）**。因此，每个子层的输出为 `LayerNorm(x + Sublayer(x))`[ref_1][ref_2][ref_5]。 #### 2. 解码器（Decoder） 解码器也由 **N** 个相同的层堆叠而成。每一层包含**三个**核心子层： * **掩码多头自注意力层（Masked Multi-Head Self-Attention）**：防止解码器在训练时“偷看”未来信息，确保当前位置的预测仅依赖于已知的输出。 * **多头交叉注意力层（Multi-Head Cross-Attention）**：其 **Query** 来自解码器的上一子层输出，而 **Key** 和 **Value** 来自编码器的最终输出，这使得解码器能够关注输入序列的相关部分。 * **前馈神经网络层**：与编码器中的相同。 解码器的每个子层同样采用残差连接和层归一化[ref_2][ref_5]。 ### 三、核心机制详解 #### 1. 自注意力机制（Self-Attention） 这是Transformer的灵魂。其本质是计算序列中每个元素（如单词）相对于序列中所有元素的“相关性”或“重要性”权重[ref_1][ref_6]。 * **计算过程**： 1. 对于输入序列的每个元素，通过线性变换生成三个向量：**查询（Query）**、**键（Key）** 和**值（Value）**。 2. 计算注意力得分：对于目标元素i的Query，与序列中所有元素j的Key进行点积，然后除以一个缩放因子（√d_k，d_k是Key的维度），以防止梯度消失。 3. 应用Softmax函数：将得分转换为概率分布（和为1），即注意力权重。 4. 加权求和：用注意力权重对对应的Value向量进行加权求和，得到目标元素i的最终输出。 * **公式**： `Attention(Q, K, V) = softmax(QK^T / √d_k) V` * **代码示例**： ```python import torch import torch.nn.functional as F def scaled_dot_product_attention(query, key, value, mask=None): """ 缩放点积注意力计算 Args: query: [batch_size, seq_len_q, d_k] key: [batch_size, seq_len_k, d_k] value: [batch_size, seq_len_v, d_v] (通常seq_len_k == seq_len_v) mask: 可选，用于屏蔽无效位置（如填充或未来信息） Returns: 注意力输出，注意力权重 """ d_k = query.size(-1) # 计算点积并缩放 scores = torch.matmul(query, key.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) # 将屏蔽位置设为负无穷 # 计算注意力权重 attention_weights = F.softmax(scores, dim=-1) # 加权求和 output = torch.matmul(attention_weights, value) return output, attention_weights ``` #### 2. 多头注意力（Multi-Head Attention） 为了增强模型从不同表示子空间（如不同语法、语义层面）捕捉信息的能力，Transformer将自注意力机制并行执行多次[ref_1][ref_4][ref_6]。 * **过程**： 1. 将Query、Key、Value通过不同的线性投影矩阵，分别投影到 **h**（头数，如8）个不同的低维空间。 2. 在每个投影后的子空间上独立执行缩放点积注意力。 3. 将 **h** 个头的输出拼接起来。 4. 通过一个最终的线性投影层得到多头注意力的输出。 * **优势**：允许模型同时关注来自不同位置的不同表示子空间的信息，增强了模型的表达能力[ref_4][ref_6]。 #### 3. 位置编码（Positional Encoding） 由于Transformer本身不包含循环或卷积结构，它无法感知序列中元素的顺序信息。因此，必须显式地向输入嵌入中添加**位置编码**，以注入序列的顺序信息[ref_1][ref_6]。 * **常用方法**：使用不同频率的正弦和余弦函数来生成位置编码向量，并与词嵌入向量相加。 `PE(pos, 2i) = sin(pos / 10000^(2i/d_model))` `PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))` 其中，`pos`是位置，`i`是维度索引，`d_model`是模型隐藏层维度。 #### 4. 前馈神经网络（Position-wise FFN） 这是一个应用于每个位置上的相同两层全连接网络，中间有一个ReLU激活函数[ref_2][ref_5]。 `FFN(x) = max(0, xW1 + b1)W2 + b2` 它在每个位置独立进行变换，用于增加模型的非线性。 ### 四、Transformer的变体与应用 基于原始架构，衍生出了多种重要变体，主导了现代NLP和CV的发展。 | 类别 | 模型名称 | 核心特点 | 主要应用领域 | | :--- | :--- | :--- | :--- | | **仅编码器** | **BERT** | 双向Transformer编码器，通过掩码语言模型（MLM）进行预训练，能深度理解上下文语义[ref_3][ref_5]。 | 文本分类、命名实体识别、问答系统、情感分析。 | | **仅解码器** | **GPT系列** | 单向（从左到右）Transformer解码器，通过自回归语言建模进行预训练，擅长文本生成[ref_3][ref_6]。 | 文本生成、对话系统、代码生成、内容创作。 | | **编码器-解码器** | **T5, BART** | 完整的Transformer架构，适用于需要同时理解输入和生成输出的任务[ref_5]。 | 机器翻译、文本摘要、文本改写。 | | **视觉Transformer** | **ViT** | 将图像分割为块序列，输入Transformer编码器进行处理，开创了纯Transformer视觉模型先河[ref_4]。 | 图像分类、目标检测、图像分割。 | | **高效Transformer** | **Swin Transformer** | 引入**滑动窗口**和**分层设计**，将计算复杂度从图像尺寸的平方降低到线性，并构建了类似CNN的金字塔特征图[ref_4]。 | 高分辨率图像理解、密集预测任务。 | ### 五、优势与局限性 #### 优势： 1. **并行计算**：自注意力层可以完全并行计算，极大提升了训练速度[ref_1][ref_6]。 2. **全局建模**：任意两个序列元素可直接交互，完美建模长距离依赖[ref_4][ref_6]。 3. **模型表示能力强**：在大规模数据上预训练后，能学习到非常强大的通用特征表示[ref_3][ref_4]。 #### 局限性及改进： 1. **计算复杂度高**：自注意力的计算复杂度与序列长度的平方成正比（O(n²)）。**改进**：采用局部注意力、稀疏注意力（如Longformer）、线性注意力等[ref_4]。 2. **位置信息编码相对薄弱**：正弦位置编码在推理时遇到比训练时更长的序列时可能泛化不佳。**改进**：使用相对位置编码、可学习的位置编码等[ref_4]。 3. **数据饥渴**：纯Transformer模型通常需要海量数据才能充分训练。**改进**：采用自监督预训练（如BERT的MLM，MAE的图像掩码重建）[ref_3][ref_4]。 总而言之，Transformer凭借其独特的自注意力机制和并行化架构，已成为当今人工智能，尤其是大语言模型和基础视觉模型的基石。它统一了序列建模的范式，并持续推动着NLP、CV乃至多模态领域的技术边界[ref_3][ref_4][ref_6]。