Transformer模型的解码器通过自回归机制实现序列生成，这种机制确保在生成目标序列时，每个位置的输出仅依赖于之前已生成的内容，而不会“偷看”未来的信息。该机制的核心在于掩码多头注意力（Masked Multi-Head Attention）的设计与应用。 在解码器中，输入序列通过嵌入层和位置编码后，进入多个堆叠的解码器层。每一层包含三个关键组件：掩码多头自注意力、交叉注意力以及前馈神经网络。其中，掩码多头自注意力负责处理当前解码状态下的上下文信息[^2]。 ### 自回归机制的关键组成部分 #### 1. 掩码多头注意力机制 掩码多头注意力机制限制了解码过程中对输入序列的关注范围。具体来说，在训练或推理阶段，对于目标序列中的第 $ t $ 个位置，模型只能关注前 $ t-1 $ 个位置的输出，而不能访问第 $ t $ 个位置之后的内容。这是通过在计算注意力权重时引入一个上三角矩阵的掩码来实现的，该掩码将未来位置的注意力得分设置为负无穷，从而使得这些位置的权重趋近于零[^2]。 ```python import torch import torch.nn.functional as F def masked_attention(query, key, value, mask): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) # 将未来位置的得分设为极小值 p_attn = F.softmax(scores, dim=-1) return torch.matmul(p_attn, value), p_attn ``` #### 2. 解码器层的工作流程 在每一个解码器层中，输入首先经过掩码多头注意力机制，然后通过交叉注意力机制与编码器的输出进行交互。最后，经过前馈神经网络进一步处理。这种结构确保了模型能够在每一步生成新词的同时，动态地调整对源序列和已有目标序列的关注[^2]。 ```python class DecoderLayer(nn.Module): def __init__(self, d_model, n_head, d_ff, dropout=0.1): super().__init__() self.self_mha = MultiHeadedAttention(d_model, n_head, dropout) self.mha = MultiHeadedAttention(d_model, n_head, dropout) self.ffn = FeedForwardNet(d_model, d_ff, dropout) def forward(self, x, mask, memory, src_mask): x = self.self_mha(x, x, x, mask) # 掩码多头注意力 x = self.mha(x, memory, memory, src_mask) # 交叉注意力 return self.ffn(x) # 前馈网络 ``` #### 3. 序列生成过程 在推理阶段，解码器逐个生成目标序列的标记。初始输入通常是一个特殊的起始标记（如 `<s>`），随后模型根据已生成的历史标记逐步预测下一个标记。每一步生成后，新的标记被追加到输入序列中，并作为下一步生成的上下文。这一过程持续进行，直到达到最大长度或生成终止标记（如 `</s>`）为止。 这种自回归生成方式不仅保证了生成结果的连贯性，还使得模型能够灵活适应不同长度的目标序列，广泛应用于机器翻译、文本摘要等任务中。 ###