Transformer架构的核心组成结构是一个基于编码器-解码器（Encoder-Decoder）范式的、完全依赖自注意力机制（Self-Attention Mechanism）来处理序列数据的深度学习模型。其标准结构如下图所示，其核心设计思想是摒弃了循环神经网络（RNN）和卷积神经网络（CNN）的序列处理方式，转而使用自注意力机制来并行地计算序列中所有元素之间的依赖关系[ref_2][ref_3][ref_6]。 **Transformer标准架构组成结构表** | 组件层级 | 核心子模块 | 功能与作用 | | :--- | :--- | :--- | | **输入处理** | **输入嵌入（Input Embedding）** | 将输入的离散符号（如单词）转换为稠密的向量表示[ref_2][ref_5]。 | | | **位置编码（Positional Encoding）** | 为输入序列的每个位置添加一个独特的向量，以注入序列的顺序信息，弥补自注意力机制本身不具备位置感知能力的缺陷[ref_2][ref_3][ref_5]。 | | **编码器栈（N×）** | **多头自注意力机制（Multi-Head Self-Attention）** | **核心机制**。并行地计算输入序列中每个元素与其他所有元素的相关性权重，从而动态地聚合全局信息[ref_1][ref_2][ref_4]。 | | | **前馈神经网络（Feed-Forward Network）** | 一个简单的全连接网络（通常包含两个线性变换和一个ReLU激活），对自注意力层的输出进行非线性变换和特征增强[ref_2][ref_5][ref_6]。 | | | **残差连接与层归一化（Add & Norm）** | 在每个子层（自注意力和前馈网络）后应用。残差连接缓解梯度消失，层归一化稳定训练过程[ref_2][ref_5]。 | | **解码器栈（N×）** | **掩码多头自注意力（Masked Multi-Head Self-Attention）** | **核心机制**。与编码器自注意力类似，但增加了掩码（Mask），确保在生成当前输出时，只能“看到”序列中已生成的部分，防止信息泄露[ref_1][ref_2][ref_5]。 | | | **编码器-解码器注意力（Encoder-Decoder Attention）** | **核心机制**。其Query来自解码器的上一输出，而Key和Value来自编码器的最终输出。这使得解码器在生成每个词时可以关注输入序列的全部信息[ref_2][ref_5]。 | | | **前馈神经网络（Feed-Forward Network）** | 与编码器中相同，进行非线性变换[ref_2][ref_5]。 | | | **残差连接与层归一化（Add & Norm）** | 在每个子层后应用，作用同编码器[ref_2][ref_5]。 | | **输出处理** | **线性层（Linear Layer）** | 将解码器输出的向量映射到与目标词汇表大小相同的维度[ref_2]。 | | | **Softmax层** | 将线性层的输出转换为概率分布，用于预测下一个词[ref_2]。 | **关于“自注意力是内置还是后期添加”的明确回答：** **自注意力机制是Transformer架构与生俱来、不可分割的内置核心组件，而非后期人为加入的插件**[ref_2][ref_3][ref_6]。在原始论文《Attention Is All You Need》中，Transformer被设计为完全依赖注意力机制，特别是自注意力机制，来建模序列内部以及序列之间的依赖关系，从而彻底取代了RNN/CNN在序列建模中的角色[ref_2][ref_6]。 具体而言，自注意力机制在Transformer中以三种形式内置： 1. **编码器自注意力**：用于理解输入序列自身的上下文关系。 2. **解码器掩码自注意力**：用于建模输出序列自身的、因果的上下文关系。 3. **编码器-解码器注意力**：用于建立输入序列与输出序列之间的对齐关系。 这种内置的核心地位可以通过其架构的并行计算优势来证明。自注意力允许模型同时计算序列中所有位置之间的关系，而无需像RNN那样顺序处理，这极大地提升了训练效率，是Transformer能够处理长序列并在大规模数据上成功训练的关键[ref_3][ref_6]。 **代码示例：Transformer编码器层的简化实现** 以下代码展示了Transformer编码器单层的关键内置结构，清晰体现了自注意力机制是其固有组成部分。 ```python import torch import torch.nn as nn import math class TransformerEncoderLayer(nn.Module): """Transformer编码器单层，内置了多头自注意力机制""" def __init__(self, d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1): super(TransformerEncoderLayer, self).__init__() # 内置核心1：多头自注意力子层 self.self_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=nhead, dropout=dropout) # 内置核心2：前馈神经网络子层 self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(dropout) self.linear2 = nn.Linear(dim_feedforward, d_model) # 归一化层和Dropout self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout1 = nn.Dropout(dropout) self.dropout2 = nn.Dropout(dropout) def forward(self, src, src_mask=None, src_key_padding_mask=None): """ src: 输入序列，形状为 (序列长度, 批大小, 特征维度 d_model) """ # 子层1：多头自注意力（内置机制） src2 = self.self_attn(src, src, src, attn_mask=src_mask, key_padding_mask=src_key_padding_mask)[0] # 残差连接与层归一化 src = src + self.dropout1(src2) src = self.norm1(src) # 子层2：前馈神经网络 src2 = self.linear2(self.dropout(torch.relu(self.linear1(src)))) # 残差连接与层归一化 src = src + self.dropout2(src2) src = self.norm2(src) return src # 实例化一个编码器层 encoder_layer = TransformerEncoderLayer(d_model=512, nhead=8) # 模拟输入：序列长度=10，批大小=4，特征维度=512 x = torch.rand(10, 4, 512) # 前向传播，内置的自注意力机制会自动计算序列内所有位置的关联 output = encoder_layer(x) print(f"输入形状: {x.shape}") print(f"编码器层输出形状: {output.shape}") # 形状保持不变，但每个位置的特征已融合了全局信息 ``` *注释：以上代码基于PyTorch的`nn.TransformerEncoderLayer`概念进行简化。可以看到，多头自注意力（`self.self_attn`）是作为该层的一个固有属性被定义和调用的，在模型前向传播时自动执行，这充分证明了其“内置”属性。* **总结**：Transformer架构是一个由**输入嵌入与位置编码、堆叠的编码器层（内置自注意力）、堆叠的解码器层（内置掩码自注意力和编码器-解码器注意力）以及输出层**构成的统一整体[ref_2][ref_5]。自注意力机制是其设计的基石和灵魂，正是这种内置的、并行化的全局信息交互能力，使得Transformer在自然语言处理、计算机视觉、语音识别等多个领域取得了革命性的成功[ref_3][ref_4]。