该段代码实现了Transformer中注意力机制的核心计算流程，特别是针对解码器的Masked Self-Attention操作。以下是逐行技术解析： **1. 条件掩码处理模块** ```python if requires_mask: mask = self.generate_mask(x.shape[1]) attention_score.masked_fill(mask,value=float("-inf")) ``` - `requires_mask`参数作为掩码触发开关，在解码器自注意力层中设置为True[ref_1] - `self.generate_mask(x.shape[1])`生成下三角布尔矩阵（Upper Triangular Mask），其技术原理如下： ```python # 生成示例（seq_len=4） [[ True, False, False, False], [ True, True, False, False], [ True, True, True, False], [ True, True, True, True]] ``` - `masked_fill()`将掩码位置填充负无穷，经Softmax变换后这些位置概率值趋近于0，实现序列未来信息屏蔽 **2. 注意力权重应用与维度重构** ```python output = torch.matmul(attention_score,V).reshape(y.shape[0],y.shape[1],-1) ``` - 矩阵乘法`torch.matmul(attention_score,V)`完成注意力加权求和： $$\text{Output} = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ - `reshape(y.shape[0],y.shape[1],-1)`进行维度重组，将多头注意力结果拼接回原始维度。假设8头注意力（dim_v=512），则重组过程为： ```python # 输入: [8, batch_size, seq_len, 64] # 输出: [batch_size, seq_len, 512] ``` **3. 输出线性变换** ```python output = self.o(output) ``` - `self.o`作为线性层（`nn.Linear(dim_v, d_model)`）将注意力输出投影到模型维度[ref_1] - 该操作确保多头注意力输出与模型主干维度一致，便于后续残差连接 **关键技术特性对比** | 特性 | 无掩码模式 | 掩码模式 | |------|------------|----------| | 应用场景 | 编码器自注意力 | 解码器自注意力 | | 信息流 | 全序列双向可见 | 因果单向约束 | | 计算复杂度 | $O(n^2)$ | $O(n^2)$ | | 实现差异 | 直接计算注意力 | 添加序列下三角掩码 | **典型应用场景示例** ```python # 机器翻译任务中的掩码应用 decoder_layer = Mutihead_Attention(d_model=512, dim_k=64, dim_v=64, n_heads=8) # 训练阶段：目标序列右移并添加掩码 tgt = shift_right(target_sequence) # 添加起始符 output = decoder_layer(tgt, tgt, requires_mask=True) # 防止窥视未来信息 ``` 该代码段通过巧妙的掩码位置选择（Softmax前）和矩阵操作，在保证计算效率的同时实现了严格的自回归特性，是Transformer解码器实现自动回归生成的核心技术支撑。