### Transformer模型中Decoder的输入详解 在Transformer架构中，解码器（Decoder）的主要功能是基于编码器产生的上下文信息以及先前生成的目标序列来预测后续的输出。具体而言，解码器接收两种主要类型的输入： 1. **目标序列的移位版本** 解码器的第一个输入是一个经过特殊处理的目标序列，即该序列被右移一位以防止当前时间步接收到未来的信息[^2]。这种机制被称为自回归（Autoregressive），它确保每个位置仅能依赖于之前的标记而不会泄露未来的数据。 2. **来自编码器的上下文向量** 编码器将输入序列转换成一组高维表示形式——称为上下文向量或隐状态表示。这些向量捕捉了源序列中的语义信息，并作为键（Key）和值（Value）传递给解码器中的多头注意力层，用于计算交叉注意力（Cross-Attention）。通过这种方式，解码器能够关注到源序列的不同部分以便更好地生成目标词[^2]。 以下是实现这一过程的一个简化代码片段展示如何构建并应用上述两个输入至PyTorch框架下的单个解码器模块: ```python import torch.nn as nn import torch class DecoderLayer(nn.Module): def __init__(self, d_model, num_heads, dropout=0.1): super(DecoderLayer, self).__init__() # 自注意力子层 self.self_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) # 交叉注意力子层 self.cross_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) # 前馈网络子层 self.feed_forward = nn.Sequential( nn.Linear(d_model, d_model * 4), nn.ReLU(), nn.Linear(d_model * 4, d_model) ) # 归一化层 self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.norm3 = nn.LayerNorm(d_model) # Dropout 层 self.dropout = nn.Dropout(dropout) def forward(self, tgt, memory, tgt_mask=None, memory_mask=None): """ :param tgt: 目标序列 (shifted right)，形状为 [S, N, E] :param memory: 来自编码器的最后一层输出，形状为 [S', N, E'] :param tgt_mask: 防止当前位置看到后面的位置，形状为 [S, S] :param memory_mask: 对应记忆序列上的掩码操作，形状为 [N, S', S'] """ # Self-attention on the target sequence with optional mask. attn_output, _ = self.self_attn(tgt, tgt, tgt, attn_mask=tgt_mask) out1 = self.norm1(tgt + self.dropout(attn_output)) # Cross attention between decoder output and encoder outputs. cross_attn_output, _ = self.cross_attn(out1, memory, memory, key_padding_mask=memory_mask) out2 = self.norm2(out1 + self.dropout(cross_attn_output)) # Feed-forward network followed by normalization. ff_output = self.feed_forward(out2) out3 = self.norm3(out2 + self.dropout(ff_output)) return out3 ``` #### 关于目标序列的预处理 为了训练方便，在实际操作过程中会采用一种特殊的技巧叫做教师强制（Teacher Forcing Technique）。这意味着在训练阶段，真实的前一步输出会被用来代替模型自己预测的结果；而在推理模式下，则继续沿用模型自身的预测结果形成循环反馈回路直到达到最大长度或者遇到终止符为止[^2]。