### Transformer Decoder 结构详解 #### 1. Transformer Decoder 的整体架构 Transformer Decoder 是 Transformer 架构的重要组成部分之一，主要用于生成序列的任务（如机器翻译、文本摘要等）。它由多个相同的层堆叠而成，每一层主要包含三个子模块：Masked Multi-Head Attention、Multi-Head Attention 和 Feed Forward Network (FFN)[^2]。 #### 2. Masked Multi-Head Attention 层 在 Transformer Decoder 中的第一步是 **Masked Multi-Head Attention**。这一部分的作用是对目标序列进行自注意力计算，但由于目标序列是从左到右逐步生成的，在训练过程中为了防止当前位置看到未来的信息，引入了一个 **上三角掩码矩阵** 来屏蔽掉未来的词元。具体操作如下： - 输入的目标序列会被转换为 Query (Q)、Key (K) 和 Value (V)，并通过线性变换得到对应的表示向量。 - 掩码矩阵会作用于注意力分数矩阵 \( \text{Attention(Q, K)} = \frac{\text{Q} \cdot \text{K}^\top}{\sqrt{d_k}} \)，使得对于当前时间步之后的位置赋值为负无穷大（或非常小的一个数），从而让 softmax 后的概率接近零。 最终输出的结果经过残差连接和 Layer Normalization 处理后再送入下一个子模块。 ```python import torch.nn as nn import math class MaskedMultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MaskedMultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # Linear projections q, k, v = [l(x).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) for l, x in zip(self.linears[:3], (query, key, value))] scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) p_attn = F.softmax(scores, dim=-1) output = torch.matmul(p_attn, v) output = output.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.d_k) return self.linears[-1](output) ``` #### 3. Encoder-Decoder Attention 层 第二部分是一个普通的 **Multi-Head Attention** 层，其功能类似于编码器中的 Self-Attention，但它接收来自两个不同的源的数据作为输入[^3]： - 查询 Q 矩阵来源于前一步 Masked Multi-Head Attention 输出； - 键 K 和值 V 则来自于编码器的最后一层输出。 这种设计允许解码器关注整个输入序列的不同位置，从而更好地理解上下文信息并生成更合理的输出。 #### 4. 前馈神经网络 FFN 最后一个组件是简单的全连接前馈网络，通常包括两层线性变换以及中间 ReLU 激活函数。它的目的是进一步提取特征并向更高维度空间投影数据点。 --- ###