### 实现 Positional Encoding 的方法 在 Transformer 模型中，位置编码（Positional Encoding, PE）用于向输入嵌入提供序列顺序的信息。由于自注意力机制本身不考虑词序关系，因此引入位置编码来弥补这一缺陷。 以下是基于 PyTorch 2.x 的 `PositionalEncoding` 组件的具体实现： #### 定义 Positional Encoding 类 通过继承 `nn.Module` 创建一个名为 `PositionalEncoding` 的类，在其中计算并返回位置编码矩阵[^1]。 ```python import math import torch from torch import nn class PositionalEncoding(nn.Module): def __init__(self, d_model: int, max_len: int = 5000): super(PositionalEncoding, self).__init__() pe = torch.zeros(max_len, d_model) # 初始化位置编码张量 position = torch.arange(0, max_len).unsqueeze(1) # 形状为 (max_len, 1) div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model)) # 计算分母项 # 填充 sin 和 cos 部分的位置编码 pe[:, 0::2] = torch.sin(position * div_term) # 偶数索引填充正弦值 pe[:, 1::2] = torch.cos(position * div_term) # 奇数索引填充余弦值 pe = pe.unsqueeze(0) # 扩展维度以匹配批量大小 (batch_size, seq_length, d_model) self.register_buffer('pe', pe) def forward(self, x: torch.Tensor) -> torch.Tensor: """ 将位置编码加到输入张量上。 :param x: 输入张量，形状为 (batch_size, seq_length, embedding_dim) :return: 添加了位置编码后的张量 """ x = x + self.pe[:, :x.size(1)] # 截取对应长度的位置编码并相加 return x ``` 上述代码实现了标准的 sinusoidal positional encoding 方法。具体来说： - 使用 `sin` 函数处理偶数维特征； - 使用 `cos` 函数处理奇数维特征； - 这种设计使得模型能够学习相对距离而非绝对位置信息。 #### 如何集成到 Transformer 中？ 为了使位置编码成为整个 Transformer 架构的一部分，可以将其作为单独模块插入到 Embedding 层之后[^2]。例如： ```python class TransformerModel(nn.Module): def __init__(self, vocab_size, d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, dropout=0.1, max_seq_length=5000): super().__init__() self.embedding = nn.Embedding(vocab_size, d_model) self.positional_encoding = PositionalEncoding(d_model=d_model, max_len=max_seq_length) self.transformer = nn.Transformer( d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers, dim_feedforward=dim_feedforward, dropout=dropout ) def forward(self, src, tgt): src_emb = self.embedding(src) * math.sqrt(self.d_model) # 调整嵌入比例 tgt_emb = self.embedding(tgt) * math.sqrt(self.d_model) src_pe = self.positional_encoding(src_emb) # 应用位置编码 tgt_pe = self.positional_encoding(tgt_emb) output = self.transformer(src_pe, tgt_pe) # 传递给 Transformer 主体 return output ``` 此架构展示了如何将位置编码无缝融入完整的 Transformer 流程中。 --- ###