### Transformer模型中的维度解释 在Transformer架构中，输入序列通过嵌入层转换成固定长度的向量表示。这些向量随后被传递给编码器和解码器堆栈，在此过程中涉及多个维度变换。 #### 输入与输出维度 对于任何给定的时间步t, 输入X_t会被映射到d_model维的空间内[^1]。这意味着无论原始特征的数量是多少，经过嵌入操作后的张量形状总是(batch_size, seq_length, d_model)，其中batch_size代表批次大小；seq_length是指序列的最大长度；而d_model则是模型内部各层处理的数据宽度。 #### 编码器部分 编码器由多头自注意力机制(Multi-head Self-Attention) 和前馈神经网络(Feed Forward Neural Network)组成： - **Multi-head Attention**: 这里涉及到查询(Query), 键(Keys) 及 值(Values) 的计算。为了实现这一点，定义了三个线性投影矩阵 \(W_Q\),\(W_K\) 和 \(W_V\) ，它们用于将输入转化为对应的Q,K,V形式。这三个权重矩阵的尺寸均为(d_model,h*d_k)[^2], h 表示头部数量 (head count)，dk 则是每个key/value向量的维度。 - **Add & Norm**: 经过上述过程产生的新表征会加上残差连接并做标准化处理，保持梯度稳定传播的同时也维持住了原有的语义信息。 - **Position-wise Feed-Forward Networks(PFFN)**: PFFN包含两个线性的变换以及ReLU激活函数之间的组合。其参数配置如下所示： - Linear layer 1: \((d_{model},dff)\) - ReLU activation - Linear layer 2: \((dff,d_{model})\) 这里引入了一个中间扩展因子dff来增加表达能力而不显著增大整体复杂度。 #### 解码器部分 解码器结构类似于编码器，但是增加了额外的一个multi-head attention子层用来关注来自上一时刻预测token的信息，并且还存在一个掩蔽(masks)策略防止位置i看到后续的位置j(j>i)的内容，从而确保因果关系得以保留。 #### 推理阶段 当进入推理模式时，由于每次只生成下一个单词而不是整个目标序列，所以需要特别注意如何管理状态更新以支持增量式的解码流程。具体来说就是利用缓存技术保存之前已经计算好的上下文依赖项，以便快速获取当前时间步所需的历史记录。 ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(F.relu(self.w_1(x)))) ```