### Transformer 架构概述 Transformer 是一种基于自注意力机制的神经网络架构，专为处理序列数据而设计。此架构摒弃了传统的循环神经网络(RNN)，转而在整个序列长度范围内并行化操作，极大地提高了训练效率。 ### 编码器组件 编码器由多个相同结构的层堆叠而成。每一层主要包含两个子层： 1. **多头自注意力机制 (Multi-Attention)** 这一模块允许模型在同一时间关注输入序列的不同部分，从而捕获更丰富的上下文关系[^1]。 2. **前馈全连接网络 (Feed Forward Neural Network)** 经过多头自注意力处理后的表示会传递给一个两层线性变换组成的前馈网络，在每层之间应用ReLU激活函数。 为了稳定梯度传播，每个子层之后都加入了残差连接(Residual Connection)以及层归一化(Layer Normalization)。 ```python class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super().__init__() self.self_attn = MultiHeadedAttention(num_heads, d_model) self.feed_forward = PositionwiseFeedForward(d_model, d_ff, dropout) self.norm_1 = LayerNorm(d_model) self.norm_2 = LayerNorm(d_model) self.dropout_1 = nn.Dropout(dropout) self.dropout_2 = nn.Dropout(dropout) def forward(self, x, mask=None): attn_output = self.self_attn(x, x, x, mask) x = x + self.dropout_1(attn_output) x = self.norm_1(x) ff_output = self.feed_forward(x) x = x + self.dropout_2(ff_output) x = self.norm_2(x) return x ``` ### 解码器组件 解码器同样构建于若干重复单元之上，不过其内部构成稍有差异，具体如下： 1. **掩蔽多头自注意力机制 (Masked Multi-head Self-Attention)** 此处采用掩蔽策略防止当前位置看到后续位置的信息，确保预测过程遵循因果顺序[^3]。 2. **编码器-解码器注意力机制 (Encoder-Decoder Attention)** 利用来自编码器的最后一层输出作为键(key)和值(value)，结合解码器自身的查询(query)，实现跨模态信息交互[^2]。 3. **前馈全连接网络 (Feed Forward Neural Network)** 类似于编码器端的设计，用于进一步转换特征空间[^4]。 同样的，这些子层也伴随着残差连接与层归一化的辅助措施以促进深层网络的学习能力。 ```python class DecoderLayer(nn.Module): def __init__(self, size, self_attn, src_attn, feed_forward, dropout): super(DecoderLayer, self).__init__() self.size = size self.self_attn = self_attn self.src_attn = src_attn self.feed_forward = feed_forward self.sublayer = clones(SublayerConnection(size, dropout), 3) def forward(self, x, memory, src_mask, tgt_mask): m = memory x = self.sublayer[0](x, lambda x: self.self_attn(x, x, x, tgt_mask)) x = self.sublayer[1](x, lambda x: self.src_attn(x, m, m, src_mask)) return self.sublayer[2](x, self.feed_forward) ```