在Python中，Transformer的嵌入操作主要包含词嵌入（Word Embedding）和位置嵌入（Position Embedding），二者在Transformer模型里发挥着关键作用。以下是相关实现与使用的介绍： ### 词嵌入（Word Embedding） 词嵌入是把单词转化为向量的过程，在Python里可以借助`torch.nn.Embedding`来实现。以下是一个简单的代码示例： ```python import torch import torch.nn as nn # 定义最大源单词数和模型维度 max_num_src_words = 1000 model_dim = 512 # 定义源序列 src_seq = torch.tensor([[1, 2, 3], [4, 5, 6]]) # 创建词嵌入表 src_embedding_table = nn.Embedding(max_num_src_words+1, model_dim) # 获取源序列的嵌入 src_embedding = src_embedding_table(src_seq) print(src_embedding_table.weight) # 每一行代表一个embedding向量，第0行让给pad，从第1行到第行分配给各个单词，单词的索引是多少就取对应的行位置的向量 print(src_embedding) # 根据src_seq，从src_embedding_table获取得到的embedding vector，三维张量：batch_size、max_seq_len、model_dim ``` 在这个示例中，`nn.Embedding`构建了一个嵌入表，`src_embedding_table(src_seq)`则是根据源序列从嵌入表中获取对应的嵌入向量 [^4]。 ### 位置嵌入（Position Embedding） 位置嵌入用于为序列中的每个位置提供位置信息，从而让模型能够捕捉序列中的顺序。以下是一个简单的位置嵌入实现示例： ```python import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super(PositionalEncoding, self).__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x + self.pe[:x.size(0), :] return x ``` 使用这个位置嵌入类的示例如下： ```python # 定义模型维度 model_dim = 512 # 创建位置嵌入实例 positional_encoding = PositionalEncoding(model_dim) # 假设x是词嵌入后的张量 x = torch.randn(10, 32, model_dim) # batch_size=10, seq_len=32, model_dim=512 # 添加位置嵌入 x_with_positional_encoding = positional_encoding(x) ``` ### 使用指南 - **词嵌入**：在构建模型时，要依据数据的最大单词数和模型维度来定义嵌入表。在输入数据时，直接将输入序列传入嵌入表就能得到对应的嵌入向量。 - **位置嵌入**：要先创建位置嵌入类的实例，接着把词嵌入后的张量传入该实例，就可以为张量添加位置信息。 ### 总结 在Python里实现Transformer嵌入，词嵌入可借助`torch.nn.Embedding`实现，位置嵌入则可以自定义类来实现。将二者结合起来，就能为Transformer模型提供输入所需的嵌入表示。