### 自注意力机制在Transformer模型中的作用 自注意力机制是Transformer模型的核心组成部分之一，其主要目的是帮助模型更高效地捕捉输入序列内部的长距离依赖关系[^2]。相比于传统的RNN或LSTM结构，自注意力机制能够并行计算，并且不会因为序列长度增加而显著降低性能。 #### 功能描述 自注意力机制的功能可以分为以下几个方面： 1. **全局上下文建模** 在传统方法中，RNN及其变体通常按顺序逐词处理输入序列，这可能导致无法很好地捕获远距离单词之间的关联。然而，自注意力机制允许每个位置上的单词同时关注整个序列中的其他所有单词，从而实现了对全局上下文的有效建模[^3]。 2. **动态权重分配** 对于给定的一个查询向量（query），自注意力机制会根据键向量（key）和值向量（value）计算出该查询与其他所有位置的相关性得分。这些得分会经过softmax函数转换成概率分布形式作为加权系数，用于聚合来自不同位置的价值信息[^1]。 3. **增强表达能力** 通过引入多头注意力机制，可以在不同的表示子空间内独立执行多次自注意操作后再拼接起来形成最终输出。这种方法不仅缓解了单头情况下可能存在的过拟合问题，还进一步提升了模型对于复杂模式的理解能力和泛化水平[^3]。 ### 实现细节 以下是关于如何具体实现自注意力机制的一些技术要点说明： - #### 输入准备阶段 首先将原始嵌入矩阵\(X\)分别乘以三个可学习参数矩阵Wq(对应Query), Wk(对应Key) 和Wv(对应Value)，得到对应的Q, K,V三组张量。 \[ Q = X\cdot W_q,\quad K=X\cdot W_k ,\quad V= X\cdot W_v \] - #### 计算Attention Score 使用点积法来衡量两个token之间的重要性程度即attention score \(a_{ij}\): \[ a_{ij}=\frac{Q_iK_j^\top}{\sqrt{d_k}} \] 这里除以\(\sqrt{d_k}\)(其中dk代表维度大小是为了防止数值过大影响梯度传播稳定性)[^2]. - #### 归一化与加权求和 将上述获得的scores施加Softmax变换使其成为合法的概率分布之后再同相应的values做线性组合得出最后的结果: \[ Output = softmax(a)\cdot V \] ```python import torch import math def scaled_dot_product_attention(query, key, value): d_k = query.size()[-1] scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k) p_attn = torch.nn.functional.softmax(scores,dim=-1) output = torch.matmul(p_attn,value) return output,p_attn ```