### Transformer 中位置编码的实现与作用 在 Transformer 模型中，位置编码（Positional Encoding）是通过特定公式计算出的一组向量，这些向量被添加到输入序列的词嵌入向量上[^1]。这种机制能够为模型提供单词在序列中的位置信息，从而解决纯词嵌入无法区分顺序的问题。 位置编码的公式如下所示[^1]： 对于位置 \( pos \) 和维度 \( i \)，位置编码向量的每个元素定义为： - 当 \( i \) 为偶数时： \[ PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right) \] - 当 \( i \) 为奇数时： \[ PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right) \] 其中，\( d \) 表示嵌入维度，\( pos \) 是单词在序列中的位置索引，\( i \) 是维度索引。 以下是一个基于上述公式的 Python 实现代码示例： ```python import numpy as np import torch def get_positional_encoding(max_len, d_model): positional_encoding = np.array([ [pos / np.power(10000, 2 * (i // 2) / d_model) for i in range(d_model)] for pos in range(max_len) ]) positional_encoding[:, 0::2] = np.sin(positional_encoding[:, 0::2]) # 偶数维度应用 sin 函数 positional_encoding[:, 1::2] = np.cos(positional_encoding[:, 1::2]) # 奇数维度应用 cos 函数 return torch.from_numpy(positional_encoding).float() # 示例参数 max_len = 50 # 输入序列的最大长度 d_model = 512 # 嵌入维度 # 获取位置编码矩阵 positional_encoding_matrix = get_positional_encoding(max_len, d_model) print(positional_encoding_matrix.shape) # 输出形状应为 (max_len, d_model) ``` 在此代码中，`get_positional_encoding` 函数生成了一个大小为 `(max_len, d_model)` 的位置编码矩阵，其中 `max_len` 是输入序列的最大长度，`d_model` 是嵌入维度。该矩阵可以进一步与输入序列的词嵌入相加，从而将位置信息注入到模型中[^1]。 此外，位置编码也可以通过学习的方式实现，即使用可训练的位置嵌入向量替代固定的正弦/余弦函数。这种方式通常被称为“位置嵌入”（Position Embedding），并且可以通过简单的嵌入层实现[^2]。 ###