### 注意力机制概述 注意力机制是一种计算模型中常用的技术，用于模拟人类在处理信息时的注意力分配过程。这种技术允许模型聚焦于输入数据的不同部分，从而提高特定任务的表现效果[^1]。 ### 自注意力机制详解 自注意力机制作为注意力机制的一种变体，在处理序列数据方面表现出色。其核心理念在于让每一个位置上的元素能够关注到整个序列中的其他元素，而不仅仅是固定的上下文窗口内的元素。这种方式使得模型可以更好地捕捉长距离依赖关系以及全局特征[^2]。 #### 实际应用示例：Transformer架构中的多头自注意力层 为了更直观地理解自注意力机制的工作方式，下面将以Transformer架构为例来说明其实现方法： ```python import torch import torch.nn as nn class MultiHeadSelfAttention(nn.Module): def __init__(self, embed_size, num_heads): super(MultiHeadSelfAttention, self).__init__() self.embed_size = embed_size self.num_heads = num_heads assert embed_size % num_heads == 0, "Embedding size must be divisible by number of heads" self.depth = embed_size // num_heads self.wq = nn.Linear(embed_size, embed_size) self.wk = nn.Linear(embed_size, embed_size) self.wv = nn.Linear(embed_size, embed_size) self.dense = nn.Linear(embed_size, embed_size) def split_into_heads(self, x, batch_size): """Split the last dimension into (num_heads, depth).""" x = x.view(batch_size, -1, self.num_heads, self.depth) return x.permute(0, 2, 1, 3) # (batch_size, num_heads, seq_len, depth) def forward(self, q, k, v, mask=None): batch_size = q.size(0) q = self.split_into_heads(self.wq(q), batch_size) k = self.split_into_heads(self.wk(k), batch_size) v = self.split_into_heads(self.wv(v), batch_size) scaled_attention, attention_weights = scaled_dot_product_attention( q, k, v, mask=mask) concat_attention = scaled_attention.permute(0, 2, 1, 3).contiguous().view(batch_size, -1, self.embed_size) output = self.dense(concat_attention) return output, attention_weights def scaled_dot_product_attention(q, k, v, mask=None): matmul_qk = torch.matmul(q, k.transpose(-2, -1)) dk = torch.tensor(k.shape[-1], dtype=torch.float32).sqrt() logits = matmul_qk / dk if mask is not None: logits += (mask * -1e9) attention_weights = torch.softmax(logits, dim=-1) output = torch.matmul(attention_weights, v) return output, attention_weights ``` 上述代码展示了如何构建一个多头自注意力模块，并实现了缩放点积注意函数 `scaled_dot_product_attention` 来完成权重矩阵的计算。通过这种方法，每个查询向量都可以获得来自键值对的信息加权组合，进而实现更加灵活有效的表示学习。