### Transformer中dk参数的含义 在Transformer模型中，`dk` 是与多头注意力机制密切相关的超参数之一。具体来说，它表示每个注意力头（attention head）的关键向量（Key vector）和查询向量（Query vector）的维度大小[^3]。 在多头注意力机制的设计中，输入的嵌入向量会被线性变换为三个不同的向量：查询向量（Q）、关键向量（K）和值向量（V）。这些向量随后被分割到多个并行的注意力头中进行处理。为了控制计算复杂度和内存消耗，通常会将原始的模型维度 `dmodel` 平均分配给所有的注意力头。因此，每个注意力头的键向量和查询向量的维度即为： ```python dk = dmodel / h ``` 其中，`h` 表示注意力头的数量。例如，在经典的Transformer实现中，`h=8` 和 `dmodel=512` 的情况下，则有 `dk=dv=64`[^3]。 这种设计不仅能够减少每个头的计算负担，还使得总计算开销接近于单个全尺寸注意力头的情况。此外，较小的 `dk` 值有助于缓解梯度消失问题，并允许模型学习更细粒度的信息表达。 以下是基于以上讨论的一个简化版多头注意力机制代码片段： ```python import torch import math class MultiHeadAttention(torch.nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads # 计算dk self.num_heads = num_heads self.q_linear = torch.nn.Linear(d_model, d_model) self.k_linear = torch.nn.Linear(d_model, d_model) self.v_linear = torch.nn.Linear(d_model, d_model) self.out = torch.nn.Linear(d_model, d_model) def forward(self, q, k, v, mask=None): batch_size = q.size(0) # 线性变换后的 QKV 形状调整 q = self.q_linear(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) k = self.k_linear(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) v = self.v_linear(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.d_k) # 缩放操作 if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) attention_weights = torch.softmax(scores, dim=-1) context_vector = torch.matmul(attention_weights, v) concat_attention = context_vector.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.d_k) output = self.out(concat_attention) return output ``` #### 注意力分数缩放的重要性 在计算注意力权重的过程中，查询向量和关键向量之间的点积结果会被除以 `sqrt(dk)` 进行缩放。这一操作是为了防止点积的结果过大而导致 softmax 函数数值不稳定的问题[^3]。 --- ###