Transformer为什么Q和K使用不同的权重矩阵生成？

### Transformer 中 Query (Q) 和 Key (K) 使用不同权重矩阵的原因在 Transformer 模型中，Query (Q) 和 Key (K) 的生成分别依赖于两个不同的权重矩阵 \( W_Q \) 和 \( W_K \)，这是为了实现更灵活的表示学习以及更好地捕捉输入序列中的关系。 #### 1. 提升表达能力如果 Q 和 K 使用相同的权重矩阵，则无法区分查询向量和键向量之间的语义差异。通过引入独立的权重矩阵 \( W_Q \) 和 \( W_K \)，可以允许模型为 Q 和 K 学习到完全不同的特征空间[^1]。这种设计使得模型能够在多头注意力机制下捕获更加丰富的上下文信息，从而提升其表达能力和泛化性能。 #### 2. 防止退化为简单的相似度计算当 Q 和 K 共享同一组参数时，它们实际上只是输入嵌入的不同线性变换版本，在极端情况下可能会导致点积操作变得无意义——即总是返回恒定的结果或者仅反映原始词嵌入间的简单余弦距离而非真正意义上的交互模式。因此采用分离的设计有助于避免这种情况发生，并鼓励网络探索更多样化的解决方案路径来解决问题。 #### 3. 支持多样性的注意分数构建方式使用单独定义好的\(W_q\)与\(w_k\),可以让每一个head专注于寻找特定类型的关联性(比如局部依存结构或者是全局主题一致性)[^2]. 这种方法不仅增加了灵活性,还促进了各个子模块之间相互补充协作的效果. 以下是基于上述理论的一个简化版代码示例展示如何创建query,key,value: ```python import torch def generate_qkv(embedding_matrix, d_model, num_heads): batch_size, seq_len, _ = embedding_matrix.size() # 定义三个随机初始化的权重矩阵 wq = torch.randn(d_model, d_model) wk = torch.randn(d_model, d_model) wv = torch.randn(d_model, d_model) # 计算Q,K,V q = torch.matmul(embedding_matrix, wq).view(batch_size, seq_len, num_heads, -1).transpose(1, 2) k = torch.matmul(embedding_matrix, wk).view(batch_size, seq_len, num_heads, -1).transpose(1, 2) v = torch.matmul(embedding_matrix, wv).view(batch_size, seq_len, num_heads, -1).transpose(1, 2) return q,k,v embedding_matrix = torch.rand((32, 10, 512)) # 假设batch size=32, sequence length=10, dimension of embeddings=512 d_model = 512 num_heads = 8 q, k, v = generate_qkv(embedding_matrix, d_model, num_heads) print(q.shape, k.shape, v.shape) ``` 此段脚本展示了怎样从给定的单词嵌入出发并通过各自专属的操作获得最终用于后续运算所需的queries、keys及values形式的数据集。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 pyspark可以能读取hive内部表么