### Transformer模型中Attention机制的变体 #### 1. 多头注意力 (Multi-head Attention) 多头注意力是Transformer的核心组件之一，通过并行计算多个注意力函数来捕获不同子空间的信息[^2]。具体来说，输入被线性映射为查询（Query）、键（Key）和值（Value），并通过不同的头部独立计算注意力权重。最终，这些头部的结果会被拼接起来，并再次经过线性变换得到输出。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # Linear projections query, key, value = [ lin(x).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) for lin, x in zip(self.linears[:3], (query, key, value)) ] # Apply attention on all the projected vectors in batch. x, _ = scaled_dot_product_attention(query, key, value, mask=mask) # Concatenate and apply final linear transformation. x = x.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.d_k) return self.linears[-1](x) ``` #### 2. 局部注意力 (Local Attention) 为了减少全局自注意力带来的高计算成本，局部注意力仅关注当前上下文附近的区域。这种方法可以显著降低内存消耗和时间复杂度，特别适用于处理长序列数据。 #### 3. 稀疏注意力 (Sparse Attention) 稀疏注意力进一步减少了注意力矩阵中的非零元素数量，从而降低了计算量。常见的实现方式包括固定模式的选择策略以及动态调整的关注范围。 #### 4. 相对位置编码 (Relative Positional Encoding) 传统的绝对位置编码可能无法很好地捕捉相对距离的影响。为此，研究人员提出了相对位置编码技术，在保持原有优点的同时增强了模型对于顺序关系的理解能力。 #### 5. 卷积增强型注意力 (Convolution-augmented Attention) 这种变体结合了卷积操作与标准注意力机制的优点，既保留了后者强大的建模能力又融入前者快速提取局部特征的能力。 --- ###