### Transformer模型中掩码的应用位置及其作用 #### 1. 掩码的定义与分类 在Transformer模型中，掩码（mask）是一种重要的机制，用于控制模型对输入序列的关注范围。通过掩码操作，可以屏蔽掉不需要关注的部分，从而使模型更加高效和准确[^1]。 具体来说，Transformer模型中有两种主要类型的掩码： - **Padding Mask**: 这种掩码主要用于忽略填充部分的内容。由于不同长度的句子通常会被补齐到相同的长度以便于批量处理，因此需要使用Padding Mask来标记哪些部分是真实的输入，哪些部分是填充的数据[^2]。 - **Sequence Mask (Look-Ahead Mask)**: 此类掩码仅存在于解码器中的自注意力模块里，目的是防止当前位置看到后续的位置信息。这确保了解码过程中每一步的预测仅仅依赖之前的上下文而非未来的信息[^5]。 #### 2. Padding Mask 的应用及功能 Padding Mask 在整个Transformer架构的所有 `scaled dot-product attention` 中都会用到。它的核心作用是在计算注意力分数之前，将那些由padding引入的无意义向量置零，这样它们就不会影响最终的结果。例如，在一批次数据中如果存在较短的句子，则这些句子会补充额外的token直到达到最大句长；此时如果没有Padding Mask的话，那么这些多余的tokens可能会干扰实际有效词元的学习过程。 #### 3. Sequence Mask 的应用及功能 Sequence Mask 或称为 Look-Ahead Mask 主要应用于Decoder端内部的Self-Attention阶段。为了模拟生成式的场景——即每次只能依据已知的历史内容去推测下一个单词是什么样的情况——所以必须阻止当前时刻访问之后时间步上的隐藏状态表示。换句话说就是构建了一个下三角矩阵形式的掩蔽张量，使得每一行都只能看见自己以及左边更早的时间步特征[^4]。 以下是创建look-ahead mask的一个简单例子： ```python import tensorflow as tf def create_look_ahead_mask(size): mask = 1 - tf.linalg.band_part(tf.ones((size, size)), -1, 0) return mask x = tf.constant([[7, 6, 0]]) print(create_look_ahead_mask(tf.shape(x)[1])) ``` 上述代码片段展示了如何生成一个形状为 `(seq_len, seq_len)` 的 look-ahead mask ，其中上半部分全被遮挡掉了。 #### 总结 综上所述，无论是Encoder还是Decoder组件内均采用了相应的掩码策略以优化整体表现并满足特定任务需求。一方面借助Padding Mask排除无关紧要区域带来的负面影响；另一方面利用Sequence Mask维持因果关系结构不变形，进而保障诸如机器翻译之类高度顺序敏感型作业顺利完成[^3]^。