### Transformer Token 编码解释 在Transformer模型中，输入序列中的每个token都会被转换成固定维度的向量表示。这个过程主要通过两个部分完成：词嵌入（Word Embedding）和位置编码（Positional Encoding）。这种设计允许模型理解词语的意义及其相对位置关系[^1]。 #### 词嵌入 (Word Embedding) 对于给定的词汇表V，每一个单词w会被映射到一个d维实数空间内的稠密向量e(w)，即$E : V \to R^{d}$。这里$d$代表embedding层输出特征的数量。具体来说，在处理自然语言任务时，通常会预先定义好最大可能遇到的不同类型的tokens数量|V|，并初始化一个形状为(|V|, d) 的查找矩阵W_emb。当接收到具体的input ids列表作为索引时，则可以直接从中提取对应的行形成最终所需的embeddings形式： ```python import torch.nn as nn class WordEmbedding(nn.Module): def __init__(self, vocab_size, embed_dim): super(WordEmbedding, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) def forward(self, x): return self.embedding(x) ``` #### 位置编码 (Positional Encoding) 由于自注意力机制本身不具备感知顺序的能力，因此引入了绝对位置编码来帮助网络捕捉序列内部元素间的距离信息。最常见的方式是在原有word embeddings基础上叠加一组周期函数构成的位置信号PE(pos,2i), PE(pos,2i+1): $$\text{PE}(\text{pos}, 2i)=\sin (\frac{\text { pos }}{10000 ^ {\frac{2 i}{d_{model}}}} )\\ \text{PE}(\text{pos}, 2i + 1)=\cos (\frac{\text { pos }}{10000 ^ {\frac{2 i}{d_{model}}}} ) $$ 其中$\text{pos}$指代当前token在整个句子中的下标；而$i$则对应着该时刻所处的具体feature channel编号。值得注意的是，为了确保不同长度scale下的pattern都能得到良好表达，上述公式特意选取了较大基数($10000$)来进行指数衰减操作。 ```python def get_position_encoding(seq_len, d_model): position_encodings = np.array([ [pos / np.power(10000, 2 * (j // 2) / d_model) for j in range(d_model)] if pos != 0 else np.zeros(d_model) for pos in range(seq_len)]) position_encodings[1:, 0::2] = np.sin(position_encodings[1:, 0::2]) # apply sin to even indices position_encodings[1:, 1::2] = np.cos(position_encodings[1:, 1::2]) # apply cos to odd indices return torch.from_numpy(position_encodings).float() ``` 最后，将两者相加即可获得完整的token embedding: $$X=\operatorname{Embed}(x)+P E $$ 这种方法不仅保留了原始字符级别的语义特性，同时也赋予了模型识别模式随时间变化趋势的可能性。