### Self-Attention机制的工作原理 Self-Attention是一种用于捕捉序列中不同位置之间关系的机制，在Transformer模型中起着核心作用。它通过计算输入序列的不同部分之间的关联程度来动态加权这些部分的重要性，从而生成新的表示向量[^1]。 #### 输入与输出 在Self-Attention中，输入是一个形状为 \( (N, D) \) 的矩阵，其中 \( N \) 是序列长度，\( D \) 是嵌入维度。经过Self-Attention层后，输出仍然是相同形状的矩阵，但其内容已经基于上下文进行了重新调整[^2]。 #### 计算过程 Self-Attention的主要计算分为以下几个方面： 1. **线性变换** 首先，输入序列会被分别投影到三个不同的空间：Query（查询）、Key（键）和Value（值）。这一步通常由可训练的权重矩阵完成： ```python Q = X @ W_Q # Query matrix K = X @ W_K # Key matrix V = X @ W_V # Value matrix ``` 这里的 \( W_Q, W_K, W_V \) 是对应的权重矩阵，尺寸分别为 \( D \times d_k \)，其中 \( d_k \) 是设定好的中间维度大小[^1]。 2. **注意力分数计算** 接下来，利用Query和Key计算每一对位置之间的相似度得分。这个得分手动缩放以防止梯度消失或爆炸问题： \[ Attention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 上述公式中的分母 \( \sqrt{d_k} \) 是为了稳定数值范围的一个常数因子。 3. **Softmax规范化** 得分被送入softmax函数进行概率分布转换，使得每一行代表当前词与其他所有词的相关性强度的概率分布。 4. **加权求和** 使用得到的概率分布对Value矩阵做加权平均操作，最终形成一个新的特征表示作为该时间步的结果[^2]。 #### 多头注意力(Multi-head Attention) 为了增强模型捕获多样化信息的能力，引入了多头注意力的概念。具体来说就是并行执行多次独立的单头Self-Attention，并将它们串联起来或者取均值得到最后的整体输出[^1]: ```python heads = [] for i in range(num_heads): Qi = X @ Wi_Q Ki = X @ Wi_K Vi = X @ Wi_V scores = torch.matmul(Qi, Ki.transpose(-2,-1)) / sqrt(dk) attention_weights = F.softmax(scores, dim=-1) head_output = torch.matmul(attention_weights, Vi) heads.append(head_output) output = Concatenate(heads) @ Wo # Combine all heads with final projection layer ``` ### 实现细节 PyTorch提供了灵活的方式来构建Self-Attention模块。实际编码时需要注意以下几点： - 初始化参数时应考虑正态分布初始化策略； - 添加残差连接(residual connection)有助于缓解深层网络带来的退化问题； - 层归一化(Layer Normalization)可以加速收敛速度并提高稳定性[^2]。