### Transformer 基础模型中的嵌入方法 Transformer 模型的核心之一是其嵌入机制，该机制能够将不同维度的数据点转换为统一的向量表示形式。以下是关于如何实现这一过程的具体说明： #### 1. 输入序列的嵌入 在处理自然语言任务时，输入通常是文本序列。为了将这些离散的字符或词语转化为连续的向量表示，通常采用 **Embedding 层** 来完成此操作[^3]。 - 对于中文或其他文字系统，可以通过预定义的词表（vocabulary），将每个字或词映射为其对应的 Embedding 向量。 - 如果使用的是 One-Hot 编码，则会生成稀疏矩阵，而通过 Embedding 则能获得稠密且低维的向量表示。 #### 2. Positional Encoding 的引入 由于 Transformer 并不具有像 RNN 那样的固有顺序特性，因此需要显式地加入位置信息来帮助模型理解时间步的关系。为此设计了一种叫做 **Positional Encodings (PE)** 的技术[^1]。 - PE 是基于正弦和余弦函数计算得到的一组固定模式的位置编码，并加到原始的 Token Embeddings 上面去。 - 数学上可以描述如下： \[ PE_{(pos, 2i)} = sin(pos / 10000^{2i/d}) \] \[ PE_{(pos, 2i+1)} = cos(pos / 10000^{2i/d}) \] 其中 \( pos \) 表示 token 在句子中的绝对位置，\( i \) 是维度索引，\( d \) 是 embedding 维度大小。 #### 3. 多头注意力与数据融合 经过上述两步之后，每一个 token 已经被成功地嵌入到了一个多维空间里。然而实际应用中往往面临多种类型的特征组合问题——比如既有词汇级别的语义又有句法结构方面的约束条件等等。这时就需要借助 Multi-head Attention Mechanism 实现跨模态的信息交互[^2]。 具体流程包括以下几个方面： - 使用多个平行运行的小规模 attention heads 分别捕捉局部区域内的关联性； - 把各个 head 输出的结果拼接后再做一次投影变换以恢复原尺寸大小； 最终使得整个架构具备更强的学习能力和泛化性能。 ```python import torch.nn as nn class Embedder(nn.Module): def __init__(self, vocab_size, embed_dim): super().__init__() self.embed = nn.Embedding(vocab_size, embed_dim) def forward(self, x): return self.embed(x) def positional_encoding(max_len, dim_model): pe = torch.zeros((max_len, dim_model)) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, dim_model, 2) * -(np.log(10000.) / dim_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) ```