### 如何在代码中实现位置编码 #### 正弦和余弦位置编码 正弦和余弦函数用于创建随时间变化的周期信号，在自然语言处理任务中，这种特性有助于捕获词语间的相对距离。下面是一个基于PyTorch框架的位置编码实现： ```python import torch import math def get_sinusoid_encoding_table(position, d_hid): ''' Sinusoid position encoding table ''' def cal_angle(position, hid_idx): return position / np.power(10000, 2 * (hid_idx // 2) / d_hid) def get_posi_angle_vec(position): return [cal_angle(position, hid_j) for hid_j in range(d_hid)] sinusoid_table = np.array([get_posi_angle_vec(pos_i) for pos_i in range(position)]) sinusoid_table[:, 0::2] = np.sin(sinusoid_table[:, 0::2]) # dim 2i sinusoid_table[:, 1::2] = np.cos(sinusoid_table[:, 1::2]) # dim 2i+1 return torch.FloatTensor(sinusoid_table).unsqueeze(0) ``` 此段代码定义了一个`get_sinusoid_encoding_table()` 函数，该函数接受两个参数：最大位置索引 `position` 和隐藏层维度大小 `d_hid`. 它返回一个形状为 `(1, position, d_hid)` 的张量作为位置编码表。 #### 可学习的位置编码 另一种常用的方法是让模型自己去学习最佳的位置表示形式。这可以通过初始化随机矩阵并在训练过程中更新权重来完成: ```python class LearnablePositionEncoding(nn.Module): def __init__(self, max_position_embeddings, hidden_size): super().__init__() self.position_embeddings = nn.Parameter(torch.zeros(1, max_position_embeddings, hidden_size)) def forward(self, input_ids): position_embeddings = self.position_embeddings[:, :input_ids.shape[1], :] return position_embeddings ``` 这里实现了名为 `LearnablePositionEncoding` 的类，继承自 PyTorch 的 Module 类。构造器接收两个参数——最大的位置嵌入数量 (`max_position_embeddings`) 和隐含状态尺寸(`hidden_size`). 构造器内部调用了 Parameter 来创建可训练的位置编码变量. #### 经典相对位置编码 对于某些特定的应用场景来说，直接使用绝对位置可能不是最优解法;此时可以考虑采用相对位置编码方案. 下面给出了一种简单的实现思路: ```python def relative_position_embedding(query_len, key_len, depth): """Generate a standard set of relative positional embeddings.""" rel_positions_matrix = torch.arange(key_len)[None, :] - \ torch.arange(query_len)[:, None] rp_bucket = ((rel_positions_matrix + query_len - 1) * (query_len // 2) ** (-torch.abs(rel_positions_matrix) >= query_len)) embeddings_var = Variable( next(m.parameters()).data.new(depth).normal_(mean=0., std=.02), requires_grad=True, ) embeddings = F.embedding(rp_bucket.cuda(), embeddings_var.repeat((key_len*2-1)//query_len+1, 1)).sum(dim=-2) return embeddings[:query_len, :key_len].cuda() ``` 上述代码片段展示了如何构建一对查询键之间的相对位置关系，并据此生成相应的位置编码向量[^1].