Transformer里的Q、K、V向量是怎么从词嵌入变出来的？为什么维度还变小了？

### 查询向量、键向量和值向量的生成过程在Transformer架构中，查询向量（Query）、键向量（Key）和值向量（Value）是从词嵌入经过线性变换得到的。具体来说： - **词嵌入**：每个单词或标记首先会被转换为一个512维的连续向量[^1]。为了创建查询向量、键向量和值向量，会应用三个不同的权重矩阵 \( W_Q \)，\( W_K \)，\( W_V \) 对词嵌入进行线性变换。假设输入是一个形状为 (batch_size, seq_length, embed_dim) 的张量，其中 `embed_dim` 是词嵌入维度（例如512），则有如下操作： ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model=512, num_heads=8): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 # 定义权重矩阵 self.W_q = nn.Linear(d_model, d_model) self.W_k = nn.Linear(d_model, d_model) self.W_v = nn.Linear(d_model, d_model) self.d_head = d_model // num_heads def forward(self, x): Q = self.W_q(x).view(batch_size, seq_len, num_heads, head_dim).transpose(1, 2) K = self.W_k(x).view(batch_size, seq_len, num_heads, head_dim).transpose(1, 2) V = self.W_v(x).view(batch_size, seq_len, num_heads, head_dim).transpose(1, 2) return Q, K, V ``` 在这个过程中，通过定义好的权重矩阵 \( W_Q \), \( W_K \), 和 \( W_V \)[^3] 将原本512维的词嵌入映射到了新的空间中。对于一个多头注意力机制而言，如果设定头部数为8，则每个头的关注力子空间大小就是 \( d_{model} / h = 512/8 = 64 \) 维。因此，在实际实现时，上述代码片段展示了如何利用 PyTorch 中的 `nn.Linear()` 函数来构建这些线性变换，并最终调整输出尺寸以适应多头设置下的需求。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Batch Normalization在神经网络里是怎么起作用的？为什么能加快训练？