Transformer模型是一种基于**自注意力机制**的深度学习架构，它彻底摒弃了循环神经网络（RNN）和卷积神经网络（CNN）在处理序列数据时的固有顺序依赖，实现了高效的并行计算，并成为现代大语言模型（如GPT、BERT）的基石[ref_1][ref_3][ref_4]。其核心内容可以解构为**架构设计、核心原理与工作流程**。 ### 一、 整体架构：编码器-解码器堆叠 Transformer采用标准的编码器-解码器结构，两者均由多个相同层堆叠而成[ref_1][ref_4][ref_5]。 | 组件 | 数量（原始论文） | 核心功能 | 内部子层 | | :--- | :--- | :--- | :--- | | **编码器 (Encoder)** | N=6 层 | 将输入序列（如源语言句子）编码为富含上下文信息的**连续表示（特征）**。 | 1. **多头自注意力层** <br> 2. **前馈神经网络层** <br> （每子层后接：残差连接 & 层归一化） | | **解码器 (Decoder)** | N=6 层 | 基于编码器输出和已生成的部分输出序列，自回归地生成目标序列（如翻译结果）。 | 1. **掩码多头自注意力层** <br> 2. **多头交叉注意力层** <br> 3. **前馈神经网络层** <br> （每子层后同样接残差连接 & 层归一化） | **架构数据流示例（以机器翻译“Hello World” -> “Bonjour le monde”为例）：** 1. **输入**：“Hello World”经过词嵌入和位置编码后输入编码器。 2. **编码**：每个编码器层通过自注意力计算单词间的依赖关系，输出一个上下文向量序列。 3. **解码**：解码器初始输入为起始符`<s>`。第一步，解码器通过掩码自注意力处理`<s>`；第二步，通过交叉注意力关注编码器输出的“Hello World”上下文；第三步，前馈网络预测第一个输出词“Bonjour”的概率。 4. **迭代**：将“Bonjour”作为下一步解码输入，重复上述过程，直至生成结束符`<e>`[ref_1][ref_4]。 ### 二、 核心原理与组件详解 #### 1. 自注意力与多头注意力机制 这是Transformer的核心创新，其作用是计算序列中每个元素与其他所有元素的关联强度（注意力分数）。 **（1）自注意力计算步骤：** 给定输入序列矩阵`X`，通过可学习权重矩阵`W_Q, W_K, W_V`分别投影得到查询`Q`、键`K`、值`V`： ```python import torch import torch.nn.functional as F def self_attention(X, W_Q, W_K, W_V): """ X: 输入序列，形状为 (batch_size, seq_len, d_model) W_Q, W_K, W_V: 可学习的投影矩阵 """ Q = torch.matmul(X, W_Q) # 查询矩阵 K = torch.matmul(X, W_K) # 键矩阵 V = torch.matmul(X, W_V) # 值矩阵 # 计算注意力分数 d_k = K.size(-1) # 键向量的维度 scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) # 应用Softmax得到注意力权重 attn_weights = F.softmax(scores, dim=-1) # 加权求和得到输出 output = torch.matmul(attn_weights, V) return output, attn_weights ``` * **缩放点积注意力**：`scores = (Q * K^T) / sqrt(d_k)`。缩放因子`sqrt(d_k)`用于防止点积结果过大导致Softmax梯度消失[ref_1][ref_5]。 * **输出**：输出是值向量`V`的加权和，权重由注意力分数决定。 **（2）多头注意力 (Multi-Head Attention)：** 将`Q, K, V`投影到`h`个不同的子空间（头），并行执行自注意力，最后将结果拼接并投影回原维度。这使得模型能同时关注来自不同表示子空间的信息[ref_1][ref_4]。 ```python class MultiHeadAttention(torch.nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model = d_model self.num_heads = num_heads self.d_k = d_model // num_heads # 为每个头定义独立的线性变换层 self.W_Q = torch.nn.Linear(d_model, d_model) self.W_K = torch.nn.Linear(d_model, d_model) self.W_V = torch.nn.Linear(d_model, d_model) self.W_O = torch.nn.Linear(d_model, d_model) # 输出投影 def forward(self, X): batch_size, seq_len, _ = X.shape # 1. 线性投影并分头 Q = self.W_Q(X).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) K = self.W_K(X).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) V = self.W_V(X).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) # 2. 每个头独立计算缩放点积注意力 scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.d_k, dtype=torch.float32)) attn_weights = F.softmax(scores, dim=-1) head_output = torch.matmul(attn_weights, V) # 3. 合并多头输出并投影 head_output = head_output.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) output = self.W_O(head_output) return output ``` #### 2. 位置编码 (Positional Encoding) 由于自注意力机制本身不具备序列顺序信息，必须显式注入位置信息。Transformer使用正弦和余弦函数生成固定位置编码`PE`，并与词嵌入向量相加[ref_4][ref_5]。 ```python import math def positional_encoding(seq_len, d_model): PE = torch.zeros(seq_len, d_model) position = torch.arange(0, seq_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) PE[:, 0::2] = torch.sin(position * div_term) # 偶数维度用sin PE[:, 1::2] = torch.cos(position * div_term) # 奇数维度用cos return PE # 形状: (seq_len, d_model) ``` #### 3. 前馈神经网络 (Position-wise Feed-Forward Network) 编码器和解码器中的每个注意力子层后都接一个相同的前馈网络，它独立且相同地应用于每个位置[ref_1][ref_4]。 ```python class PositionwiseFFN(torch.nn.Module): def __init__(self, d_model, d_ff): super().__init__() self.linear1 = torch.nn.Linear(d_model, d_ff) # 扩展维度，通常d_ff=4*d_model self.relu = torch.nn.ReLU() self.linear2 = torch.nn.Linear(d_ff, d_model) # 投影回d_model def forward(self, X): return self.linear2(self.relu(self.linear1(X))) ``` #### 4. 残差连接与层归一化 每个子层（自注意力、前馈网络）都采用残差连接，后接层归一化。这有助于缓解深层网络训练中的梯度消失问题，稳定训练过程[ref_1][ref_5]。 ```python class SublayerConnection(torch.nn.Module): """残差连接 + 层归一化""" def __init__(self, size, dropout): super().__init__() self.norm = torch.nn.LayerNorm(size) self.dropout = torch.nn.Dropout(dropout) def forward(self, X, sublayer): # 残差连接：X + Dropout(Sublayer(LayerNorm(X))) return X + self.dropout(sublayer(self.norm(X))) ``` ### 三、 编码器与解码器的关键差异 | 特性 | 编码器自注意力 | 解码器自注意力（掩码） | 解码器交叉注意力 | | :--- | :--- | :--- | :--- | | **输入来源** | 编码器自身输入 | 解码器已生成序列 | 编码器输出 & 解码器自注意力输出 | | **注意力范围** | 全局，可看到序列所有位置 | 因果掩码，只能看到当前及之前位置 | 全局关注编码器输出的所有位置 | | **目的** | 建立输入序列内部的上下文依赖 | 建立输出序列内部的因果依赖，防止信息泄露 | 建立输出与输入序列之间的对齐关系 | **解码器掩码自注意力代码示例：** ```python def masked_self_attention(Q, K, V): d_k = K.size(-1) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k) # 创建下三角掩码（因果掩码） seq_len = scores.size(-1) mask = torch.tril(torch.ones(seq_len, seq_len)).bool() scores = scores.masked_fill(~mask, float('-inf')) # 将未来位置掩码为负无穷 attn_weights = F.softmax(scores, dim=-1) output = torch.matmul(attn_weights, V) return output ``` ### 四、 模型训练与典型应用 Transformer通过**预训练+微调**范式发挥作用。预训练常在无标签大规模语料上进行，任务如**掩码语言建模**（BERT）或**自回归语言建模**（GPT）。微调则在特定下游任务（如文本分类、问答）的小规模标注数据上进行，以适配具体目标[ref_3][ref_4]。 其架构变体支撑了众多领域： 1. **自然语言处理**：**GPT系列**（纯解码器，用于生成）、**BERT**（纯编码器，用于理解）、**T5**（完整的编码器-解码器，用于文本到文本转换）[ref_2][ref_3]。 2. **计算机视觉**：**Vision Transformer** 将图像分割为图块序列，视为“视觉词令牌”进行处理，在图像分类等任务上表现卓越[ref_6]。 3. **多模态**：如CLIP、DALL-E，将文本和图像编码到同一语义空间，实现跨模态理解与生成[ref_3]。 **总结**：Transformer模型的主要内容围绕其**完全基于注意力的编码器-解码器架构**展开，通过**多头自注意力机制**捕获长程依赖，借助**位置编码**注入序列信息，并利用**残差连接与层归一化**保障训练稳定性。这一设计使其能够高效并行处理序列数据，成为当今大模型时代不可或缺的基础架构[ref_1][ref_3][ref_4]。