### Transformer模型中的编码器与解码器详解 Transformer模型作为自然语言处理领域的里程碑式架构，其核心由编码器（Encoder）和解码器（Decoder）组成。二者通过协同工作实现了高效的序列到序列（Seq2Seq）转换，广泛应用于机器翻译、文本摘要等任务。下面通过对比表格和代码示例详细解析其作用与原理。 #### **编码器与解码器核心功能对比** | **组件** | **主要作用** | **输入/输出特性** | **核心层组成** | |----------|-------------|------------------|---------------| | **编码器** | 将输入序列（如源语言文本）转换为富含上下文信息的隐藏表示 | 接收整个输入序列，并行处理所有位置 | 多头自注意力层 + 前馈神经网络 [ref_1][ref_3] | | **解码器** | 基于编码器输出逐步生成目标序列（如翻译结果） | 自回归生成，每个步骤仅能访问已生成的位置 | 掩码多头注意力层 + 编码器-解码器注意力层 + 前馈网络 [ref_4][ref_6] | #### **工作原理分阶段解析** **1. 编码器工作机制** 编码器由N个相同层堆叠而成（原论文中N=6）。每层包含两个核心子层： - **多头自注意力机制**：计算输入序列中每个词与其他所有词的关联权重，捕获长距离依赖 - **前馈神经网络**：对每个位置独立进行非线性变换 每个子层均采用**残差连接**和**层归一化**来稳定训练过程 [ref_3][ref_5]。具体处理流程如下： ```python import torch import torch.nn as nn class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super().__init__() self.self_attention = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.feed_forward = nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Linear(d_ff, d_model) ) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, mask=None): # 多头自注意力子层（含残差连接与归一化） attn_output, _ = self.self_attention(x, x, x, attn_mask=mask) x = self.norm1(x + self.dropout(attn_output)) # 残差连接 [ref_3] # 前馈网络子层（含残差连接与归一化） ff_output = self.feed_forward(x) x = self.norm2(x + self.dropout(ff_output)) # 残差连接 [ref_3] return x # 示例：编码器处理序列 encoder_layer = EncoderLayer(d_model=512, num_heads=8, d_ff=2048) input_sequence = torch.randn(10, 32, 512) # (序列长度, 批大小, 特征维度) encoded_output = encoder_layer(input_sequence) ``` **2. 解码器工作机制** 解码器同样由N个相同层堆叠，但包含三类注意力子层： - **掩码多头自注意力**：防止当前位置关注后续位置，确保自回归特性 - **编码器-解码器注意力**：将编码器输出作为Key/Value，当前解码状态作为Query - **前馈神经网络**：与编码器结构相同 [ref_4][ref_6] ```python class DecoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super().__init__() self.masked_self_attention = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.encoder_decoder_attention = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.feed_forward = nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Linear(d_ff, d_model) ) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.norm3 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, encoder_output, tgt_mask=None, memory_mask=None): # 掩码自注意力（确保只能访问已生成位置） attn_output, _ = self.masked_self_attention(x, x, x, attn_mask=tgt_mask) x = self.norm1(x + self.dropout(attn_output)) # 编码器-解码器注意力（查询来自解码器，键值来自编码器） cross_attn_output, _ = self.encoder_decoder_attention( x, encoder_output, encoder_output, attn_mask=memory_mask ) x = self.norm2(x + self.dropout(cross_attn_output)) # 融合编码器信息 [ref_4] # 前馈网络 ff_output = self.feed_forward(x) x = self.norm3(x + self.dropout(ff_output)) return x # 示例：解码器生成过程 decoder_layer = DecoderLayer(d_model=512, num_heads=8, d_ff=2048) decoder_input = torch.randn(10, 32, 512) # 解码器输入（如起始符） encoder_output = torch.randn(15, 32, 512) # 编码器输出 decoded_output = decoder_layer(decoder_input, encoder_output) ``` #### **关键技术机制详解** **位置编码（Positional Encoding）** 由于Transformer不含循环和卷积结构，需显式注入位置信息： ```python class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super().__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) # 偶数维度使用正弦 [ref_1] pe[:, 1::2] = torch.cos(position * div_term) # 奇数维度使用余弦 self.register_buffer('pe', pe.unsqueeze(1)) def forward(self, x): return x + self.pe[:x.size(0)] # 将位置编码加到输入嵌入 ``` **注意力掩码机制** 解码器使用两种掩码： - **序列掩码**：防止关注未来位置 - **填充掩码**：忽略填充符的影响 [ref_6] ```python # 生成因果掩码（下三角矩阵） def generate_square_subsequent_mask(size): mask = torch.triu(torch.ones(size, size), diagonal=1).bool() return mask # 示例：创建长度为5的掩码 mask = generate_square_subsequent_mask(5) print(mask) # 输出： # tensor([[False, True, True, True, True], # [False, False, True, True, True], # [False, False, False, True, True], # [False, False, False, False, True], # [False, False, False, False, False]]) ``` #### **应用场景与实例说明** 在**机器翻译任务**中： 1. **编码器**处理源语言句子，将其转换为上下文向量 2. **解码器**基于该向量逐个生成目标语言词汇 3. 通过**编码器-解码器注意力**，解码器在生成每个词时都能聚焦于源句子的相关部分 [ref_2][ref_4] 例如在英译中任务中： - 编码器分析英语句子"I love machine learning" - 解码器生成中文"我 喜欢 机器 学习" - 当解码器生成"机器"时，通过交叉注意力机制聚焦于输入中的"machine learning"部分 这种架构的优势在于： - **并行计算**：编码器可并行处理整个输入序列 - **长距离依赖**：自注意力机制直接连接序列中任意两个位置 - **表征能力强**：多层堆叠逐步抽象特征 [ref_1][ref_5] 编码器与解码器的协同工作使Transformer能够有效处理复杂的序列转换任务，为现代NLP系统奠定了坚实基础。