### Transformer 基础模型中多维数据嵌入的机制 Transformer 基础模型的核心在于其能够高效地将不同维度的数据点映射到统一的向量空间中，以便于进一步处理和建模。以下是其实现的具体方法： #### 1. 输入嵌入 (Input Embedding) 在 Transformer 中，输入通常被表示为一系列 token 或者多维特征向量。为了使这些原始数据适合模型内部的操作，它们会被转换成固定大小的嵌入向量。对于多维数据，每一步的时间序列或者特征都会经过一个线性变换操作 \( W \)，其中 \( W \) 是一个可训练的权重矩阵。 假设有一个形状为 \( d_{\text{input}} \times n \) 的输入张量（\( d_{\text{input}} \) 表示输入维度，\( n \) 表示时间步数），则可以通过如下方式将其投影至隐藏状态空间： \[ X' = XW + b \] 此处 \( W \in R^{d_{\text{model}} \times d_{\text{input}}} \), \( b \in R^{d_{\text{model}}} \)[^2]。此过程确保了无论输入有多少个维度，都可以通过调整权重矩阵 \( W \) 将其压缩或扩展到指定的目标维度 \( d_{\text{model}} \) 上面去。 #### 2. 位置编码(Positional Encoding) 由于标准的 Transformer 并不显式地包含任何关于顺序的信息，因此需要额外加入位置编码来帮助网络理解单词之间的相对/绝对位置关系。位置编码可以直接加到上述得到的输入嵌入之上，并且同样位于相同的隐含层尺寸下 (\( d_{\text{model}} \))。 具体来说，位置编码采用正弦波函数的形式定义，在不同的频率上分别作用于偶数索引位与奇数索引位的位置信息表达形式 [^2]: \[ PE(pos, 2i) = sin(pos / 10000^{2i/d_{\text{model}}}) \] \[ PE(pos, 2i+1) = cos(pos / 10000^{2i/d_{\text{model}}}) \] 这样做的好处是可以让模型学会区分相同内容但在不同上下文中出现的情况，同时也保留了足够的灵活性以适应各种长度的任务需求。 #### 3. 自注意力机制(Self-Attention Mechanism) 一旦完成了初始阶段的嵌入之后，接下来便是利用自注意力机制来自由组合各个部分之间可能存在的关联模式。每一个查询(query)、键(key) 和值(value) 都是从当前时刻 t 对应的 hidden state 经过三个独立全连接层计算得出的结果；随后基于 scaled dot-product attention 公式完成权重视图构建并聚合相关信息形成新的表示向量 : \[ Attention(Q,K,V)=softmax(\frac {QK^\top}{\sqrt{d_k}})V \] 这里的 Q、K、V 分别代表 Query Matrix、Key Matrix 及 Value Matrix ，而 dk 则指定了 key 向量的维度大小 。整个过程中允许任意两个节点间相互影响，从而极大地增强了捕捉全局依赖性的能力。 综上所述，Transformer 模型通过精心设计的输入嵌入方案、独特的位置编码策略以及高效的自注意力机制实现了对高维复杂数据的有效表征，进而促进了下游任务性能提升的可能性。 ```python import torch import math def generate_positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) positional_encodings = generate_positional_encoding(50, 64) print(positional_encodings.shape) ```