### Transformer模型中的词嵌入机制 Transformer模型是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理领域。其核心组件之一是词嵌入（Word Embedding），用于将离散的单词表示转换为连续向量空间中的稠密向量。 #### 1. Word Embedding 的作用 在Transformer模型中，输入序列由一系列标记组成，这些标记通常是从词汇表映射到整数索引的结果。为了使模型能够理解并学习这些标记之间的关系，需要通过一个可训练的嵌入层将其转化为固定维度的实数值向量[^1]。这种转化过程即称为词嵌入。 #### 2. 嵌入矩阵的学习方式 词嵌入通常是通过随机初始化的方式创建，并在整个训练过程中与其他参数一起更新。具体来说，在前馈阶段，每个位置上的单词会被映射为其对应的嵌入向量；而在反向传播期间，则会调整该嵌入以最小化损失函数值[^2]。 #### 3. Positional Encoding (位置编码) 由于原始版本的Transformer并不具备任何关于顺序的信息，因此引入了Positional Encodings来显式地提供令牌在其上下文中所处的位置信息。这一步骤对于捕捉句子结构至关重要，因为仅靠静态word embeddings无法区分相同词语的不同排列组合所带来的语义差异[^3]。 以下是实现简单版transformer word embedding加上position encoding的一个Python代码片段： ```python import torch import math def get_positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) class TokenEmbedding(torch.nn.Module): def __init__(self, vocab_size: int, emb_size:int ): super(TokenEmbedding, self).__init__() self.embedding = torch.nn.Embedding(vocab_size, emb_size) def forward(self, tokens): return self.embedding(tokens.long())* math.sqrt(d_model) d_model=512 vocab_size=10000 max_len=5000 token_embedding = TokenEmbedding(vocab_size=vocab_size,d_model=d_model ) positional_encodings=get_positional_encoding(max_len=max_len ,d_model=d_model ) tokens=torch.randint(low=0,high=vocab_size,size=(1,max_len)) embedded_tokens= token_embedding(tokens)+ positional_encodings[:,:tokens.size(-1),:] print(embedded_tokens.shape) ``` 上述代码展示了如何构建基本的Token Embeddings以及应用Sinusoidal形式的位置编码方法[^4]。