### 下三角掩码矩阵（Subsequence Mask）的作用 在Transformer架构中，`get_attn_subsequence_mask` 函数用于生成下三角掩码矩阵（subsequence mask）。该矩阵的主要作用是在解码阶段防止模型看到未来的时间步信息。具体来说，在训练过程中，目标序列会被右移一位作为输入，而为了模拟真实的推理过程，需要通过掩码屏蔽掉当前位置之后的所有单词[^1]。 这种掩码通常被称为 **因果掩码（Causal Mask）** 或者 **后续掩码（Look-Ahead Mask）**，它确保每个时间步只能依赖于之前的位置信息，从而保持预测的顺序性和一致性。 --- ### PyTorch 实现 `get_attn_subsequence_mask` 以下是使用 PyTorch 实现 `get_attn_subsequence_mask` 的方法： ```python import torch def get_attn_subsequence_mask(dec_inputs): """ 生成下三角形的掩码矩阵 (subsequence mask)，用于遮挡未来的 token。 参数: dec_inputs: 形状为 [batch_size, tgt_len] 的张量 返回: subsequence_mask: 形状为 [batch_size, tgt_len, tgt_len] 的布尔型张量 """ batch_size, seq_len = dec_inputs.size() subsequent_mask = torch.triu(torch.ones((seq_len, seq_len), dtype=torch.bool), diagonal=1).unsqueeze(0) return subsequent_mask.expand(batch_size, -1, -1) # 测试代码 dec_inputs = torch.tensor([[1, 2, 3, 4], [2, 3, 4, 0]]) subsequent_mask = get_attn_subsequence_mask(dec_inputs) print(subsequent_mask) ``` 上述代码的核心逻辑在于调用 `torch.triu()` 方法生成上三角矩阵，并将其扩展到批量维度。最终返回的是形状为 `[batch_size, tgt_len, tgt_len]` 的布尔型张量，其中值为 `True` 的部分表示需要被掩码的部分。 --- ### NumPy 实现 `get_attn_subsequence_mask` 如果希望使用 NumPy 来实现类似的掩码功能，则可以按照如下方式完成： ```python import numpy as np def get_attn_subsequence_mask_numpy(seq_len, batch_size=1): """ 使用 NumPy 生成下三角形的掩码矩阵 (subsequence mask)。 参数: seq_len: 序列长度 batch_size: 批次大小，默认为 1 返回: subsequence_mask: 形状为 [batch_size, seq_len, seq_len] 的布尔型数组 """ subsequence_mask = np.triu(np.ones((seq_len, seq_len)), k=1).astype(bool) return np.broadcast_to(subsequence_mask[np.newaxis, :, :], (batch_size, seq_len, seq_len)) # 测试代码 subsequent_mask_np = get_attn_subsequence_mask_numpy(seq_len=4, batch_size=2) print(subsequent_mask_np) ``` 这里的关键是利用 `np.triu()` 构造上三角矩阵并广播至指定批次大小。注意，NumPy 默认返回的是浮点数类型的矩阵，因此需显式转换为布尔类型以便与 PyTorch 掩码兼容[^3]。 --- ### 注意力机制中的应用 生成的掩码矩阵会应用于多头注意力模块中的 softmax 计算环节。假设查询矩阵 \( Q \)、键矩阵 \( K \) 和值矩阵 \( V \) 已知，则可以通过以下步骤计算带掩码的注意力权重： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}} + M\right)V \] 其中 \( M \) 是掩码矩阵，对于需要忽略的位置赋予极小值（如 `-inf`），使得对应的 softmax 值趋近于零。 --- ### 总结 - 下三角掩码矩阵主要用于 Transformer 解码器中的掩码自注意力层，目的是阻止模型访问未来时刻的信息。 - 可以分别借助 PyTorch 和 NumPy 提供的功能高效构建此类掩码。 - 在实际操作中，掩码矩阵常与其他处理流程相结合，共同构成完整的注意力计算框架。 ---