关于Transformer从提出到核心组件及作用原理的详细描述通常是正确的。Transformer模型在论文《Attention is All You Need》中被提出，是机器学习领域令人兴奋的新发展之一，可用于多种自然语言处理任务，如写故事、翻译、问答等 [^1]。 从架构上来说，Transformer由编码器（Encoder）与解码器（Decoder）两部分组成。编码器负责将输入序列映射为高维语义表示，解码器则在编码结果的基础上生成目标输出序列。编码器和解码器均由多个相同结构的模块堆叠而成。 每个编码器模块包含多头自注意力机制和前馈神经网络两部分，并通过残差连接（Residual Connection）和层归一化（Layer Normalization）保证深层网络的稳定训练。多头自注意力机制允许模型在处理序列时，关注序列中不同位置的信息，从而捕捉序列中的长距离依赖关系。前馈神经网络则对注意力机制的输出进行进一步的特征变换。 残差连接通过将输入直接加到经过变换后的输出上，缓解了梯度消失问题，使得网络可以更深。层归一化则对每一层的输入进行归一化处理，使得网络在训练过程中更加稳定。 以下是一个简单的Transformer编码器模块的PyTorch代码示例： ```python import torch import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model = d_model self.num_heads = num_heads self.head_dim = d_model // num_heads self.qkv_proj = nn.Linear(d_model, 3 * d_model) self.out_proj = nn.Linear(d_model, d_model) def forward(self, x): batch_size, seq_len, _ = x.size() qkv = self.qkv_proj(x) q, k, v = qkv.chunk(3, dim=-1) q = q.view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) k = k.view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) v = v.view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) attn_scores = torch.matmul(q, k.transpose(-2, -1)) / (self.head_dim ** 0.5) attn_probs = torch.softmax(attn_scores, dim=-1) attn_output = torch.matmul(attn_probs, v) attn_output = attn_output.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) return self.out_proj(attn_output) class FeedForward(nn.Module): def __init__(self, d_model, d_ff): super().__init__() self.fc1 = nn.Linear(d_model, d_ff) self.fc2 = nn.Linear(d_ff, d_model) self.relu = nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x))) class EncoderBlock(nn.Module): def __init__(self, d_model, num_heads, d_ff): super().__init__() self.attention = MultiHeadAttention(d_model, num_heads) self.norm1 = nn.LayerNorm(d_model) self.ffn = FeedForward(d_model, d_ff) self.norm2 = nn.LayerNorm(d_model) def forward(self, x): attn_output = self.attention(x) x = self.norm1(x + attn_output) ffn_output = self.ffn(x) return self.norm2(x + ffn_output) ```