词嵌入（Word Embedding）是将离散的词语映射为低维连续向量，可捕捉语义和语法信息，是许多NLP任务的核心技术之一，也是Transformer等先进架构的初始输入形式，推动了NLP进步，使计算机能更好地理解和生成人类语言，在智能交互、信息检索、机器翻译等领域有广泛应用前景[^1][^2]。 在Transformer中的位置方面，输入层每个词通过嵌入层转换为向量，例如 embedding_dim 通常设为 512；输出层中，解码器输出的向量通过反向嵌入映射回词表概率，如 logits = decoder_output * embedding_matrix^T [^1]。 文本中的词汇在输入到词嵌入层之前，需先进行数字化表示，词嵌入层的目的是将文本中词汇的数字表示转变为向量表示，从而在高维空间捕捉文本词汇之间的关系。以下是一个构建Embedding类实现文本嵌入层的示例代码： ```python import torch import math import torch.nn as nn class Embeddings(nn.Module): def __init__(self, d_model, vocab): # d_model: 词嵌入的维度 # vocab: 词表的大小 super(Embeddings, self).__init__() # 定义Embedding层 self.lut = nn.Embedding(vocab, d_model) # 将参数传入类中 self.d_model = d_model def forward(self, x): # x: 代表输入进模型的文本通过词汇映射后的数字张量 return self.lut(x) * math.sqrt(self.d_model) d_model = 512 vocab = 1000 x = torch.LongTensor([[100, 2, 421, 508], [491, 998, 1, 221]]) # 创建了一个包含两个样本的输入张量，每个样本包含四个词汇索引。 emb = Embeddings(d_model, vocab) embr = emb(x) print("embr:", embr) print(embr.shape) # 打印嵌入后的张量和其形状。输出的形状应该是(2, 4, 512)，表示有两个样本，每个样本有四个词汇，每个词汇映射到一个512维的向量 ``` 与Word2Vec相比，Transformer中的词嵌入具有上下文相关性动态、端到端学习（通常结合预训练任务）、能基于上下文动态调整处理多义词、通过位置编码包含位置信息、参数规模较大（嵌入层是模型的一部分）等特点；而Word2Vec上下文相关性是静态的，采用独立预训练（无监督），无法区分多义词，无位置信息，参数规模较小（仅词表大小 × 嵌入维度） [^1]。 Transformer词嵌入的核心革新在于上下文相关（Contextualized Embeddings），同一词在不同上下文中向量不同 [^1]。