### Query、Key 和 Value 的概念及其关系 在深度学习领域，尤其是 Transformer 架构中，Query (Q)、Key (K) 和 Value (V) 是自注意力机制（Self-Attention Mechanism）的核心组成部分。以下是这三个概念的具体定义以及它们之间的关系： #### 1. **Query** Query 表示查询向量，用于描述当前需要关注的内容或目标。它通常代表模型希望聚焦的部分，在自然语言处理任务中可以看作是目标语言中的某个词或短语的表示[^4]。 #### 2. **Key** Key 是键向量，作为与 Query 进行匹配的对象。它可以被视作源数据的一部分特征提取结果，用来衡量与其他部分的相关性。例如，在机器翻译任务中，Key 可能对应于源语言句子中的各个单词。 #### 3. **Value** Value 则是值向量，包含了实际有用的信息内容。当通过计算得到某一部分应当受到更多注意时，则会利用该部分对应的 Value 向量参与最终输出的构建过程。简单来说，它是经过加权后的原始输入信息。 #### 关系说明 三者之间存在紧密联系： - 首先，通过对每一对 Q-K 计算相似度得分（通常是点积操作），得出不同位置间的重要性权重； - 接着依据这些权重对相应的 V 加权求和，从而生成新的上下文感知表征向量[^1][^2][^3]。 这种设计使得网络能够动态调整对于序列内部各元素的关注程度，并有效捕捉长距离依赖关系而无需增加额外参数数量。 ```python import numpy as np def scaled_dot_product_attention(query, key, value): """ 实现缩放点乘法注意力机制 参数: query: 查询矩阵 shape=(..., seq_len_q, depth) key: 键矩阵 shape=(..., seq_len_k, depth) value: 值矩阵 shape=(..., seq_len_v, depth_v) 返回: context_vector: 输出上下文向量 """ matmul_qk = np.matmul(query, key.transpose(-2,-1)) # 点乘获得分数 dk = np.sqrt(key.shape[-1]) # 缩放因子 scores = matmul_qk / dk # 缩放分数 attention_weights = softmax(scores, axis=-1) # 转化为概率分布 output = np.matmul(attention_weights, value) # 对应值加权求和 return output def softmax(x, axis=None): e_x = np.exp(x - np.max(x)) return e_x / e_x.sum(axis=axis, keepdims=True) # 示例数据 np.random.seed(0) q = np.random.randn(1, 3, 5) # batch_size=1, num_queries=3, dim=5 k = np.random.randn(1, 4, 5) # batch_size=1, num_keys=4, dim=5 v = np.random.randn(1, 4, 6) # batch_size=1, num_values=4, dim_value=6 context_vector = scaled_dot_product_attention(q, k, v) print(context_vector.shape) # 结果形状应该是 (1, 3, 6)，即每个查询都有一个新的上下文向量 ``` 上述代码展示了如何基于 Query、Key 和 Value 来执行基本的缩放点积注意力运算。 --- ### § 1. 如何通过可视化方法更好地理解 Self-Attention 中 Query、Key 和 Value 的交互？ 2. 在多头注意力机制下，为什么需要拆分多个子空间分别计算 Query、Key 和 Value？ 3. 如果改变 Key 或 Value 的维度大小会对模型性能造成什么影响？ 4. 自然语言处理之外的应用场景里，比如图像识别，Query、Key 和 Value 是否还有类似的解释方式？ 5. 当前主流优化算法是否会影响 Query-Key 成对打分效率进而间接提升整体训练速度？