### Transformer模型中的Mask实现 在Transformer模型中，`mask`机制主要用于处理序列数据时屏蔽掉不需要的信息。特别是在解码器部分，为了防止当前位置看到未来的位置信息（即自回归特性），引入了因果关系的掩码（Causal Mask）。以下是基于PyTorch的一个简单示例代码： ```python import torch import torch.nn as nn def create_mask(size): """ 创建一个上三角矩阵作为mask，用于遮挡未来的词。 :param size: 序列长度 :return: 上三角全为-inf的张量 """ mask = (torch.triu(torch.ones((size, size)), diagonal=1).bool()) # [^5] return mask class CausalSelfAttention(nn.Module): def __init__(self, embed_dim, num_heads): super(CausalSelfAttention, self).__init__() self.attention = nn.MultiheadAttention(embed_dim, num_heads) def forward(self, x): seq_len = x.shape[0] causal_mask = create_mask(seq_len).to(x.device) # [^6] output, _ = self.attention( query=x, key=x, value=x, attn_mask=causal_mask # 使用创建好的mask ) return output ``` 上述代码展示了如何通过构建一个上三角布尔矩阵来实现因果掩码的功能[^7]。该函数返回的是一个布尔类型的张量，在后续计算注意力权重的过程中会将对应位置设置为负无穷大。 另外需要注意的是，在训练过程中如果存在填充（padding）操作，则还需要额外定义Padding Mask以忽略这些无意义的部分[^8]。通常情况下，这种类型的mask是一个二维二值化数组，其中有效token标记为False而被pad占据的地方设为True。 #### 关于Positional Encoding 和 Multi-Head Attention 的补充说明 除了mask之外，Transformers还依赖position encoding技术解决输入序列丢失顺序的问题[^9]。具体来说就是按照一定规律给定每个单词附加一组唯一标识其相对或绝对位置的数值向量[^10]。与此同时multi-head attention结构允许模型并行学习不同子空间内的特征表示从而提升表达能力[^11]。