在Transformer解码器的自注意力机制中，通过引入序列掩码（Sequence Mask）来确保模型在预测当前词元时无法访问未来时刻的信息，从而维持自回归生成过程的因果约束 [ref_1]。这一机制的核心在于构建一个下三角布尔矩阵，将未来时间步的注意力权重设置为负无穷，使得在Softmax归一化后这些位置的权重趋近于零。 **掩码生成机制的具体实现**： ```python def generate_mask(self, dim): # 创建上三角全1矩阵（注意此处实际应为下三角） matrix = np.ones((dim, dim)) mask = torch.Tensor(np.tril(matrix)) # 生成下三角矩阵 return mask == 1 # 转换为布尔矩阵 ``` 该函数生成的下三角矩阵在主对角线及左下区域为True，右上区域为False。当应用于注意力得分矩阵时，通过`masked_fill`方法将未来位置的得分替换为极负值： ```python attention_score.masked_fill(mask, value=float("-inf")) ``` **训练时的动态掩码过程**： 在解码器处理序列"<s> I am Jia"时，掩码机制按时间步逐步展开： | 时间步 | 可见范围 | 预测目标 | 注意力模式 | |--------|-----------------|----------|---------------------------| | t=0 | `<s>` | "I" | 仅能关注起始符 | | t=1 | `<s> I` | "am" | 可关注前两个词元 | | t=2 | `<s> I am` | "Jia" | 可关注前三个词元 | 这种掩码策略确保每个位置的查询向量仅能与当前位置及之前位置的键向量计算注意力分数，形成严格的前向依赖链。 **与编码器注意力的本质差异**： 解码器的Masked Self-Attention与编码器的完整自注意力在信息流向上存在根本区别： | 特征维度 | 编码器注意力 | 解码器掩码注意力 | |----------------|--------------------------|--------------------------| | 上下文范围 | 全序列双向访问 | 严格左向因果访问 | | 掩码类型 | 仅填充掩码 | 序列掩码+填充掩码 | | 时间步依赖 | 并行计算所有位置 | 序列化逐步生成 | | 信息流方向 | 前向+后向 | 仅前向 | **技术实现的关键细节**： 1. **位置编码整合**：在进入注意力层前，词嵌入与位置编码相加，为模型提供序列顺序信息 2. **残差连接保护**：通过Add_Norm模块保留原始输入特征，防止掩码操作导致的信息损失 3. **梯度流优化**：被掩码的位置在反向传播时不会产生梯度更新，提高训练稳定性 这种设计使得Transformer在保持并行计算优势的同时，满足了序列生成任务的因果性要求，为机器翻译、文本生成等任务提供了坚实的技术基础。