### 多头注意力机制中 QKV 的生成方式及其输入来源 在 Transformer 架构中，多头注意力机制的核心在于通过线性变换生成查询（Query, Q）、键（Key, K）和值（Value, V）。具体来说，这些向量是由输入序列经过一系列操作产生的。 #### 输入形式 多头注意力机制的输入通常是一个形状为 \( (N, L, D_{model}) \) 的张量，其中： - \( N \) 表示批量大小， - \( L \) 是序列长度， - \( D_{model} \) 是模型维度[^1]。 这个输入张量会被传递到多个并行的注意力头中，在每个头内部进一步处理。 #### QKV 的生成过程 对于每一个注意力头，Q、K 和 V 都是通过对输入张量 \( X \in R^{L \times D_{model}} \) 进行线性变换得到的。具体的计算公式如下： \[ Q = XW_Q,\quad K = XW_K,\quad V = XW_V \] 这里，\( W_Q \), \( W_K \), 和 \( W_V \) 分别是可学习的权重矩阵，其尺寸分别为 \( D_{model} \times d_k \)，\( D_{model} \times d_k \)，以及 \( D_{model} \times d_v \)。注意，\( d_k \) 和 \( d_v \) 通常是 \( D_{model}/h \)，其中 \( h \) 是注意力头的数量。 #### 得分计算与缩放 一旦得到了 Q 和 K 向量，就可以通过点积来衡量它们之间的相似程度。得分的计算公式为： \[ \text{Score}_{i,j} = \frac{\text{Q}_i \cdot \text{K}_j}{\sqrt{d_k}} \] 这里的除法是为了防止点积结果过大而导致 softmax 函数数值不稳定[^3]。 #### 输出组合 每个注意力头会独立地计算加权后的值向量，并将其作为该头的输出。最终，来自所有头的输出会被拼接在一起并通过另一个线性投影层进行转换，形成最终的上下文表示： \[ \text{Output} = [\text{head}_1; \text{head}_2; ... ; \text{head}_h]W_O \] 其中，\( W_O \) 是用于重新映射回原始维度的一个额外权重矩阵[^2]。 ```python import torch import math def scaled_dot_product_attention(query, key, value): dk = query.size()[-1] scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(dk) attention_weights = torch.softmax(scores, dim=-1) output = torch.matmul(attention_weights, value) return output, attention_weights class MultiHeadAttention(torch.nn.Module): def __init__(self, num_heads, model_dim): super(MultiHeadAttention, self).__init__() assert model_dim % num_heads == 0 self.d_k = model_dim // num_heads self.num_heads = num_heads self.linear_q = torch.nn.Linear(model_dim, model_dim) self.linear_k = torch.nn.Linear(model_dim, model_dim) self.linear_v = torch.nn.Linear(model_dim, model_dim) self.final_linear = torch.nn.Linear(model_dim, model_dim) def forward(self, x): batch_size, seq_len, _ = x.shape q = self.linear_q(x).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) k = self.linear_k(x).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) v = self.linear_v(x).view(batch_size, seq_len, self.num_heads, self.d_k).transpose(1, 2) outputs, _ = scaled_dot_product_attention(q, k, v) concat_outputs = outputs.transpose(1, 2).contiguous().view(batch_size, seq_len, -1) final_output = self.final_linear(concat_outputs) return final_output ``` 上述代码展示了如何实现一个多头注意力模块，其中包括了 Q、K、V 的生成逻辑以及后续的操作流程。 ---