### 单头与多头自注意力机制解释 在Transformer模型架构中，自注意力机制允许网络关注输入序列中的不同位置，从而捕捉上下文关系。对于单头自注意力机制而言，计算过程涉及查询（Q）、键（K）和值（V）矩阵之间的交互。 具体来说，在单头情况下，这些矩阵通过线性变换获得，并用于计算注意力权重： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 \( d_k \) 是键向量维度[^1]。 相比之下，多头自注意力机制引入多个并行的注意层来捕获不同的特征表示。每个头部独立工作，最后将各头部的结果拼接起来并通过另一个投影层处理。这种设计使得模型能够聚焦于源句子的不同部分，增强了表达能力。 形式上，给定相同大小的 Q、K 和 V 输入，定义 h 表示头的数量，则第 i 个头可以写作: \[ \text{Head}_i(Q,K,V)=\text{Attention}(W_i^{(Q)}Q,W_i^{(K)}K,W_i^{(V)}V), \quad i=0,\ldots,h-1 \] 最终输出由所有头组合而成： \[ \text{MultiHead}(Q,K,V)=\text{Concat}(\text{head}_0,...,\text{head}_{h-1})W^O \] 这里 \( W_i^{(Q)}, W_i^{(K)}, W_i^{(V)} \) 及 \( W^O \) 均为可训练参数矩阵[^2]。 下面是一个简单的Python实现例子展示如何构建一个多头自注意力模块： ```python import torch.nn as nn import torch class MultiHeadSelfAttention(nn.Module): def __init__(self, embed_size, num_heads): super(MultiHeadSelfAttention, self).__init__() self.embed_size = embed_size self.num_heads = num_heads assert (embed_size % num_heads == 0), "Embed size must be divisible by number of heads" self.head_dim = embed_size // num_heads # Linear layers for queries, keys and values transformation self.q_linear = nn.Linear(embed_size, embed_size) self.v_linear = nn.Linear(embed_size, embed_size) self.k_linear = nn.Linear(embed_size, embed_size) self.fc_out = nn.Linear(embed_size, embed_size) def forward(self, query, key, value): N = query.shape[0] seq_len_q = query.shape[1] seq_len_kv = key.shape[1] q = self.q_linear(query).view(N, seq_len_q, self.num_heads, self.head_dim).transpose(1, 2) k = self.k_linear(key).view(N, seq_len_kv, self.num_heads, self.head_dim).transpose(1, 2) v = self.v_linear(value).view(N, seq_len_kv, self.num_heads, self.head_dim).transpose(1, 2) energy = torch.einsum('nqhd,nkhd->nhqk', [q, k]) / ((self.head_dim)**0.5) attention = torch.softmax(energy, dim=-1) out = torch.einsum('nhql,nlhd->nqhd', [attention, v]).transpose(1, 2).contiguous().view(N, seq_len_q, -1) return self.fc_out(out) ``` 上述代码实现了基于PyTorch框架下的多头自注意力机制，适用于自然语言处理任务中的各种应用场合[^3]。