<think>根据用户的问题，用户想要查找Transformer解码器的代码实现。从提供的引用内容中，我们可以提取有关Transformer解码器的代码实现部分。下面我将整理引用[2]、[3]、[4]、[5]中关于解码器的代码，并进行解释。 ### 解码器层（DecoderLayer） 解码器层通常由三个子层组成： 1. 带掩码的自注意力层（防止关注未来词元） 2. 编码器-解码器注意力层（连接编码器和解码器） 3. 前馈神经网络层 #### 引用[2]中的代码实现： ```python class DecoderLayer(nn.Module): def __init__(self, size, self_attn, src_attn, feed_forward, dropout): super().__init__() self.self_attn = self_attn # 解码器自注意力（目标序列内部） self.src_attn = src_attn # 编码器-解码器注意力（关联输入和目标） self.feed_forward = feed_forward # 前馈网络 self.sub_layers = clones(sub_layer_conncetion(size, dropout), 3) # 3个子层连接 def forward(self, x, memory, source_mask, target_mask): m = memory # 编码器输出 # 第1个子层：解码器自注意力（带目标掩码，防止关注未来词） x = self.sub_layers[0](x, lambda x: self.self_attn(x, x, x, target_mask)) # 第2个子层：编码器-解码器注意力（Q=解码器输出，K=V=编码器输出） x = self.sub_layers[1](x, lambda x: self.src_attn(x, m, m, source_mask)) # 第3个子层：前馈网络 x = self.sub_layers[2](x, lambda x: self.feed_forward(x)) return x ``` #### 引用[5]中的代码实现： ```python class DecoderLayer(nn.Module): def __init__(self, d_model, ffn_hidden, n_head, drop_prob): super(DecoderLayer, self).__init__() # 自注意力子系统 self.self_attention = MultiHeadAttention(d_model, n_head) self.norm1 = LayerNorm(d_model) self.dropout1 = nn.Dropout(drop_prob) # 跨模态注意力子系统（编码器-解码器注意力） self.enc_dec_attention = MultiHeadAttention(d_model, n_head) self.norm2 = LayerNorm(d_model) self.dropout2 = nn.Dropout(drop_prob) # 前馈处理子系统 self.ffn = PositionwiseFeedForward(d_model, ffn_hidden, drop_prob) self.norm3 = LayerNorm(d_model) self.dropout3 = nn.Dropout(drop_prob) ``` ### 解码器（Decoder） 解码器由多个解码器层堆叠而成，最后进行层归一化。 #### 引用[3]中的代码实现： ```python class Decoder(nn.Module): "Generic N layer decoder with masking." def __init__(self, layer, N): super(Decoder, self).__init__() self.layers = clones(layer, N) # 克隆N个解码器层 self.norm = LayerNorm(layer.size) # 最终层归一化 def forward(self, x, memory, src_mask, tgt_mask): for layer in self.layers: x = layer(x, memory, src_mask, tgt_mask) return self.norm(x) # 返回归一化后的结果 ``` #### 引用[4]中关于解码器的描述（虽然主要讲编码器，但结构类似）： 解码器的结构与编码器类似，也是堆叠多个相同的层，但每个解码器层包含三个子层。 ### 总结 Transformer解码器的代码实现通常包含两部分： 1. **DecoderLayer**：实现单个解码器层，包含三个子层（掩码自注意力、编码器-解码器注意力、前馈网络），每个子层后都有残差连接和层归一化。 2. **Decoder**：由多个DecoderLayer堆叠而成，最后进行层归一化。 用户可以根据需要调整层数（如6层）和维度（如d_model=512）等参数。 §§相关问题§§ 1. Transformer解码器中的掩码自注意力是如何实现的？ 2. 编码器-解码器注意力层的作用是什么？ 3. 如何理解Transformer解码器的残差连接和层归一化？ </think> ### Transformer 解码器代码解析 根据提供的引用内容，以下是 Transformer 解码器的核心代码实现： #### 1. 解码器层（DecoderLayer） ```python class DecoderLayer(nn.Module): def __init__(self, d_model, ffn_hidden, n_head, drop_prob): super(DecoderLayer, self).__init__() # 自注意力子系统（带掩码） self.self_attention = MultiHeadAttention(d_model, n_head) self.norm1 = LayerNorm(d_model) self.dropout1 = nn.Dropout(drop_prob) # 编码器-解码器注意力子系统 self.enc_dec_attention = MultiHeadAttention(d_model, n_head) self.norm2 = LayerNorm(d_model) self.dropout2 = nn.Dropout(drop_prob) # 前馈神经网络子系统 self.ffn = PositionwiseFeedForward(d_model, ffn_hidden, drop_prob) self.norm3 = LayerNorm(d_model) self.dropout3 = nn.Dropout(drop_prob) def forward(self, x, memory, source_mask, target_mask): # 第1步：掩码自注意力（目标序列内部） residual = x x = self.self_attention(x, x, x, target_mask) # 使用目标掩码防止关注未来词元 x = self.dropout1(x) x = self.norm1(x + residual) # 残差连接 + 层归一化 # 第2步：编码器-解码器注意力（Q=解码器输出，K/V=编码器输出） residual = x x = self.enc_dec_attention(x, memory, memory, source_mask) # 关联源序列 x = self.dropout2(x) x = self.norm2(x + residual) # 残差连接 + 层归一化 # 第3步：前馈网络 residual = x x = self.ffn(x) x = self.dropout3(x) x = self.norm3(x + residual) # 残差连接 + 层归一化 return x ``` **关键特性**： - 三个核心子层：掩码自注意力、编码器-解码器注意力、前馈网络[^2][^5] - 每个子层后接**残差连接**和**层归一化**（LayerNorm） - `target_mask` 确保自回归属性（仅关注当前位置之前的词元）[^1] - `memory` 参数接收编码器的输出作为键/值 #### 2. 完整解码器（Decoder） ```python class Decoder(nn.Module): def __init__(self, layer, n_layers): super(Decoder, self).__init__() self.layers = clones(layer, n_layers) # 堆叠多层 self.norm = LayerNorm(layer.size) # 最终层归一化 def forward(self, x, memory, src_mask, tgt_mask): # 逐层处理数据 for layer in self.layers: x = layer(x, memory, src_mask, tgt_mask) return self.norm(x) # 输出归一化 ``` **关键特性**： - 堆叠多个相同的解码器层（通常 6 层）[^3][^4] - 最终输出进行层归一化稳定结果[^3] - 输入包含： - `x`：目标序列嵌入（形状：`(seq_len, batch_size, d_model)`） - `memory`：编码器输出 - `src_mask`/`tgt_mask`：源/目标序列掩码 --- ### 核心设计要点 1. **掩码自注意力** 使用三角掩码（如 `target_mask`）确保解码时只能访问已生成的词元，保持自回归特性[^1][^5]。 2. **编码器-解码器注意力** 查询（Query）来自解码器上一层的输出，键（Key）和值（Value）来自编码器的最终输出，实现跨模态交互[^1]。 3. **残差连接与层归一化** 每个子层输出满足 $x + \text{sublayer}(x) \in \mathbb{R}^d$，通过层归一化加速收敛[^1]。 4. **位置编码** 目标序列嵌入需添加位置编码（未在代码片段显示，但为必要前置步骤）。 ---