### 构建输入矩阵 X 并与权重矩阵 $ W_q, W_k, W_v $ 进行乘法操作 #### 输入矩阵 X 的构建 在自然语言处理任务中，输入句子通常会被转换成一系列词向量。假设有一个长度为 6 的句子，每个单词通过嵌入层映射到一个三维向量，则可以形成一个大小为 $ 6 \times 3 $ 的矩阵 \( X \)[^1]。具体来说： - 嵌入层的作用是将离散的词语索引转化为连续空间中的稠密向量表示[^3]。 - 如果使用预训练的 GloVe 向量作为嵌入层的一部分，则每个词向量可能具有更高的维度（例如 50 或者更大），但在本例中为了简化说明，采用的是每词对应于三维度的情况。 因此，对于给定的一个句子 “The cat sat on the mat”，如果每一个单词都已经被编码成了一个固定长度的向量形式，那么这些单独的向量就可以堆叠起来构成整个句子的表达——即上述提到的矩阵 \( X \)，其中每一行代表相应位置上的那个特定词汇所对应的特征描述。 #### 权重矩阵的应用过程 一旦获得了这样的输入矩阵之后，在多头自注意机制里就需要分别计算查询(Query)、键(Keys) 和值(Values): \[ Q = XW_q,\quad K=XW_k ,\quad V=XW_v \] 这里的三个不同的线性变换是由各自的参数化投影矩阵完成的\( W_q, W_k, W_v\) ，它们都是可学习的参数，并且形状取决于期望输出尺寸以及原始输入数据宽度的关系。假如说我们的目标是要让最终产生的 Query/Key/Value 维度均为 dk （也就是前面公式里的分母 sqrt(dk) 中的那个dk）。考虑到之前设定好了初始状态下的 embedding size 是3维的话，那此时应该满足条件: - 若设 dk=4 则意味着需要调整原embeddings至新的子空间使得适应后续运算需求；于是乎\( W_q ∈ R^{3×4}, W_k∈R^{3×4}, W_v∈R^{3×4}\) 接着执行标准矩阵乘法规则即可获得相应的 Queries Keys Values 结果集用于下一步骤进一步加工处理得到注意力分布情况并据此加权求和得出最后的结果Z[^2]. ```python import numpy as np # Example dimensions based on provided information. sentence_length = 6 # Number of words in sentence. embedding_dim_initial = 3 # Initial word vector dimension from embeddings. # Randomly initialize input matrix and weight matrices for demonstration purposes only. np.random.seed(0) X = np.random.rand(sentence_length, embedding_dim_initial) print("Input Matrix X:") print(X) attention_head_size = 4 # Desired output dimension after transformation by Wq/Wk/Wv. Wq = np.random.randn(embedding_dim_initial, attention_head_size) Wk = np.random.randn(embedding_dim_initial, attention_head_size) Wv = np.random.randn(embedding_dim_initial, attention_head_size) Q = np.dot(X, Wq) K = np.dot(X, Wk) V = np.dot(X, Wv) print("\nQuery Matrix Q:") print(Q) print("\nKey Matrix K:") print(K) print("\nValue Matrix V:") print(V) ```