### Transformer网络的基本结构 在深入分析之前，快速回顾一下Transformer模块的整体架构有助于理解其工作原理。任何Transformer模型主要由两大部分组成——编码器(encoder)和解码器(decoder)，每一部分都包含多个堆叠的子层[^1]。 #### 编码器结构 编码器是由若干相同结构的层堆叠而成。每层有两个子层：一个多头自注意力机制(multi-head self-attention mechanism)用于捕捉输入序列中的依赖关系；另一个则是前馈神经网络(feed-forward neural network)，它是一个简单的全连接层，应用于每个位置上的向量表示独立并行处理。这两者之间以及之后都有残差连接(residual connection)加上Layer Normalization操作来稳定训练过程。 #### 解码器结构 解码器同样也是多层设计，不过除了类似于编码器内部存在的两个子层外，在两者间还加入了一个额外的部分即编码器-解码器注意力建模(Encoder–Decoder Attention Layer)。这部分允许解码器关注到整个输入序列的信息，从而更好地预测目标序列中的下一个词项。此过程中也采用了掩蔽技术(masking technique)，防止当前位置看到未来时刻的数据，保持因果顺序。 ```python import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model, num_heads, dropout=0.1): super().__init__() # Multi-head Self-Attention Mechanism self.self_attn = nn.MultiheadAttention(d_model, num_heads) # Feed Forward Neural Network self.feed_forward = nn.Sequential( nn.Linear(d_model, 4 * d_model), nn.ReLU(), nn.Linear(4 * d_model, d_model) ) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): attn_output, _ = self.self_attn(x, x, x) x = self.norm1(x + self.dropout(attn_output)) ff_output = self.feed_forward(x) x = self.norm2(x + self.dropout(ff_output)) return x ``` 与循环神经网络(RNNs)相比，由于这种深层堆栈转换架构的存在，使得Transformers能够超越传统模型，在多种任务上取得更好的表现。同时，Transformers具备记忆功能，后续文本的内容可以影响对先前文本的理解[^2]。 这些核心概念共同构成了理解和应用深度学习解决实际自然语言处理(NLP)问题的基础[^3]。