Encoder embedding 是 Transformer 模型中 Encoder 部分的输入表示，主要由单词 Embedding 和位置编码（Positional Encoding）两部分组成，下面是具体介绍： ### 单词 Embedding 单词 Embedding 负责将离散的词 token 转化为连续向量，即将自然语言中的单词映射到一个低维的向量空间中，使得语义相近的单词在向量空间中距离较近。在代码实现上，通常会使用一个嵌入层（Embedding layer）来完成这一转换。以下是一个简单的 PyTorch 示例： ```python import torch import torch.nn as nn # 假设词汇表大小为 1000，嵌入维度为 128 vocab_size = 1000 embedding_dim = 128 embedding_layer = nn.Embedding(vocab_size, embedding_dim) # 假设输入的词索引为 [1, 2, 3] input_indices = torch.tensor([1, 2, 3]) embedded = embedding_layer(input_indices) print(embedded.shape) # 输出: torch.Size([3, 128]) ``` ### 位置编码（Positional Encoding） 位置编码用于添加序列中 token 的位置信息，因为 Transformer 模型本身不具备捕捉序列中元素位置顺序的能力，所以需要通过位置编码来引入位置信息。常用的位置编码方式是使用 sin/cos 函数，其公式如下： 对于偶数位置： $$PE_{(pos, 2i)} = \sin(\frac{pos}{10000^{\frac{2i}{d_{model}}}})$$ 对于奇数位置： $$PE_{(pos, 2i+1)} = \cos(\frac{pos}{10000^{\frac{2i}{d_{model}}}})$$ 其中，$pos$ 是词的位置，$i$ 是维度索引，$d_{model}$ 是嵌入维度。以下是位置编码的 PyTorch 实现示例： ```python import torch import torch.nn as nn import math def positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe # 假设最大序列长度为 50，嵌入维度为 128 max_len = 50 d_model = 128 pe = positional_encoding(max_len, d_model) print(pe.shape) # 输出: torch.Size([50, 128]) ``` 在 Encoder 中，单词 Embedding 和位置编码相加得到最终的 Encoder embedding，代码示例如下： ```python # 假设单词 Embedding 和位置编码的形状都是 [batch_size, seq_len, embedding_dim] batch_size = 2 seq_len = 10 embedding_dim = 128 word_embedding = torch.randn(batch_size, seq_len, embedding_dim) positional_encoding = torch.randn(batch_size, seq_len, embedding_dim) encoder_embedding = word_embedding + positional_encoding print(encoder_embedding.shape) # 输出: torch.Size([2, 10, 128]) ```