### Transformer 架构详解 #### Encoder 基本结构 Transformer 的 Encoder 部分由多个相同的层堆叠而成。每一层主要包含以下几个部分： 1. **Multi-Head Self-Attention**: 这一模块允许模型关注输入序列中的不同位置，从而捕获全局依赖关系[^2]。 2. **Add & LayerNorm**: 在 Multi-Head Self-Attention 后应用残差连接和层归一化操作，以稳定训练过程并加速收敛[^2]。 3. **Feed Forward Network**: 每一层还包含一个全连接前馈网络，用于进一步处理特征[^2]。 整个 Encoder 的输出是一个矩阵 \( C \)，该矩阵作为编码器的最终输出，包含了输入序列的所有语义信息[^2]。 #### Decoder 基本结构 Decoder 结构同样由多个相同的层堆叠构成，但其设计更加复杂，因为需要生成目标序列。以下是 Decoder 的核心组成部分： 1. **Masked Multi-Head Self-Attention**: 此模块通过掩码（masking）技术防止当前位置访问未来的位置信息，确保预测时只利用当前及之前的信息[^3]。 2. **Encoder-Decoder Attention**: 使用来自 Encoder 的输出矩阵 \( C \) 计算 Key 和 Value 矩阵，Query 则来源于上一个 Decoder 层的输出。此步骤使得 Decoder 能够获取完整的上下文信息[^4]。 3. **Feed Forward Network**: 类似于 Encoder 中的设计，此处也包含一个全连接前馈网络来增强表达能力。 4. **Softmax 输出层**: 经过上述各层处理后，最终通过线性变换加 Softmax 函数得到每个时间步的目标词概率分布[^3]。 #### 图解说明 虽然无法直接提供图像，但可以通过文字描述构建一幅清晰的画面： - 输入经过嵌入层进入一系列 Encoder 层； - 编码后的结果传递给初始状态下的 Decoders； - 解码过程中每一步都会先做自回归式的 masked attention 自身历史数据学习再结合 encoder 提供的整体句子表征完成下一步预测工作直到结束标志符被生成为止。 ```python import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model, num_heads, dropout=0.1): super(TransformerBlock, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.norm1 = nn.LayerNorm(d_model) self.ffn = nn.Sequential( nn.Linear(d_model, 4 * d_model), nn.ReLU(), nn.Linear(4 * d_model, d_model) ) self.dropout = nn.Dropout(dropout) def forward(self, x, mask=None): attn_output, _ = self.self_attn(x, x, x, key_padding_mask=mask) out = self.norm1(attn_output + x) ffn_out = self.ffn(out) final_out = self.dropout(ffn_out) + out return final_out ```