transformer模型中的掩蔽自注意力

### Transformer模型中掩蔽自注意力机制的工作原理 #### 工作原理概述在Transformer模型中，掩蔽自注意力机制主要用于处理序列生成任务（如机器翻译），特别是在解码器部分。为了防止位置i的预测依赖于未来的位置j（其中 j > i），引入了掩码操作。这种机制通过屏蔽未来的词元信息，确保当前时刻的输出仅基于之前的输入和当前位置的信息[^1]。 #### 掩码的具体作用掩码是一种特殊的张量结构，其主要功能是对某些特定位置的内容进行遮挡。具体来说，在自注意力计算过程中，对于不需要关注的部分，可以通过设置非常大的负数（通常为-\( \infty \)）来使得这些位置对应的权重接近零。这样做的目的是让softmax后的概率分布忽略掉那些不希望影响当前计算的结果的位置[^4]。 #### 实现细节分析以下是掩蔽自注意力机制的主要实现步骤： 1. **构建掩码矩阵** 首先创建一个上三角矩阵作为掩码，该矩阵用于掩盖后续时间步的信息。如果某个元素位于主对角线之上，则将其标记为需要被掩盖的位置；反之则保留正常参与运算的能力。 2. **应用到QKV乘法前** 在标准自注意力机制的基础上增加一步——即在将Query与Key相乘得到原始得分之后立即加上这个预先准备好的掩码向量。这一步骤会调整最终获得的关注度分数，从而达到控制哪些部分可见的效果。 3. **Softmax激活函数后的影响** 经过上述加权操作后再送入Softmax层时，由于之前已经人为降低了某些项的重要性或者完全消除了它们的存在感，所以即使经过归一化也不会再受到干扰因素的作用。 ```python import torch import math def create_mask(size): """ 创建一个大小为 [size, size] 的下三角形掩码矩阵，主要应用于目标序列中的每一个 token 不应看到它后面 tokens 的情况。 """ mask = (torch.triu(torch.ones((size, size))) == 0).transpose(0, 1) return mask.unsqueeze(0) def scaled_dot_product_attention(query, key, value, mask=None): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) p_attn = torch.nn.functional.softmax(scores, dim=-1) output = torch.matmul(p_attn, value) return output, p_attn ``` 以上代码片段展示了如何构造掩码以及如何在其帮助下调用缩放点积注意力建议算法完成相应任务。 --- ###

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 jupyter lab运行