Transformer架构在自然语言处理领域具有重要地位且应用广泛，如机器翻译、问答系统、文本摘要、语义角色标注和语义搜索等场景都能发挥很好的性能[^2]。 Transformer采用编码器 - 解码器架构，编码器和解码器各自包含多个堆叠的层，这些层结构相似但功能不同[^3]。Transformer由编码器（Encoder）和解码器（Decoder）堆叠而成，每个层包含多头自注意力（Multi - Head Self - Attention）、前馈网络（Feed - Forward Network, FFN）、残差连接（Residual Connection）和层归一化（LayerNorm）[^4]。 在关键组件方面，还包括输入嵌入、位置编码、带掩码的多头注意力等[^3]。输入嵌入是将输入的文本转换为模型能够处理的向量表示；位置编码是为了让模型能够捕捉到输入序列中元素的位置信息；多头注意力机制允许模型在不同的表示子空间中并行地关注输入序列的不同部分；残差连接和层归一化有助于缓解梯度消失问题，提高模型的训练稳定性和收敛速度；带掩码的多头注意力主要用于解码器中，防止模型在预测时看到未来的信息。 ```python # 以下是一个简单的Transformer层的伪代码示例 import torch import torch.nn as nn class TransformerLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward): super(TransformerLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(0.1) self.linear2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout1 = nn.Dropout(0.1) self.dropout2 = nn.Dropout(0.1) def forward(self, src, src_mask = None, src_key_padding_mask = None): src2 = self.self_attn(src, src, src, attn_mask = src_mask, key_padding_mask = src_key_padding_mask)[0] src = src + self.dropout1(src2) src = self.norm1(src) src2 = self.linear2(self.dropout(torch.relu(self.linear1(src)))) src = src + self.dropout2(src2) src = self.norm2(src) return src ```