### Transformer 架构中的 Encoder 和 Decoder 工作原理及其区别 #### 编码器 (Encoder) 在 Transformer 架构中，编码器负责接收输入序列并将其转换成上下文表示。每个编码层由两个子层组成： 1. **多头自注意力机制（Multi-head Self-Attention）** 输入序列通过多个平行的自注意力头处理，允许模型关注不同位置的信息[^1]。 2. **前馈神经网络（Feed Forward Neural Network）** 经过自注意力机制后的向量会传递给一个全连接的前馈网络，该网络对每一个位置上的向量独立应用相同的线性变换和激活函数[^3]。 为了稳定训练过程，在这两个子层之后都加入了残差连接与归一化操作。 ```python class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, dff, rate=0.1): super(EncoderLayer, self).__init__() self.mha = MultiHeadAttention(d_model, num_heads) self.ffn = point_wise_feed_forward_network(d_model, dff) self.layernorm1 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.layernorm2 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.dropout1 = nn.Dropout(rate) self.dropout2 = nn.Dropout(rate) def forward(self, x, mask): attn_output, _ = self.mha(x, x, x, mask) # 自注意机制 out1 = self.layernorm1(x + self.dropout1(attn_output)) # 添加 & 归一化 ffn_output = self.ffn(out1) # 前馈网络 out2 = self.layernorm2(out1 + self.dropout2(ffn_output)) return out2 ``` #### 解码器 (Decoder) 解码器同样基于类似的结构构建，但是具有三个主要部分而不是两个: 1. **掩蔽多头自注意力机制（Masked Multi-head Self-Attention）** 这是为了防止当前位置看到未来的位置信息而设计的一种特殊形式的自注意力机制。它对于生成任务非常重要，因为预测下一个词不应该依赖于尚未产生的词语。 2. **跨注意力机制（Cross Attention Mechanism）** 此处引入了来自编码器输出的关键值对(Q,K,V)，使得解码器能够聚焦到源端的不同部分上，从而更好地理解目标端当前正在生成的内容应该对应哪些源端特征。 3. **前馈神经网络（Feed Forward Neural Network）** 类似于编码器中的实现方式，用于进一步加工经过两次注意力计算得到的结果。 同样的，在这些组件之间也存在跳跃链接以及层规范化来帮助优化收敛性能。 ```python class DecoderLayer(nn.Module): def __init__(self, d_model, num_heads, dff, rate=0.1): super(DecoderLayer, self).__init__() self.mha1 = MultiHeadAttention(d_model, num_heads) self.mha2 = MultiHeadAttention(d_model, num_heads) self.ffn = point_wise_feed_forward_network(d_model, dff) self.layernorm1 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.layernorm2 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.layernorm3 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.dropout1 = nn.Dropout(rate) self.dropout2 = nn.Dropout(rate) self.dropout3 = nn.Dropout(rate) def call(self, x, enc_output, look_ahead_mask, padding_mask): attn1, attn_weights_block1 = self.mha1(x, x, x, look_ahead_mask) out1 = self.layernorm1(x + self.dropout1(attn1)) attn2, attn_weights_block2 = self.mha2( enc_output, enc_output, out1, padding_mask) out2 = self.layernorm2(out1 + self.dropout2(attn2)) ffn_output = self.ffn(out2) out3 = self.layernorm3(out2 + self.dropout3(ffn_output)) return out3, attn_weights_block1, attn_weights_block2 ``` #### 主要差异 - **功能定位**: 编码器主要用于捕捉输入数据内部的关系模式；而解码器则侧重于利用已有的上下文信息去推断后续可能发生的事件或状态变化。 - **层数设置**: 虽然两者都可以堆叠多层形成更复杂的表征能力，但在实际应用中往往发现增加更多层次有助于提升解码效果而非编码效率。 - **注意力类型**: 编码器仅采用标准的多头自注意力机制来进行全局范围内的交互学习；相比之下，解码器除了具备相同类型的自我感知外还额外增加了针对外部记忆体（即编码器输出）的关注度评估环节——这就是所谓的交叉注意力模块。