### Transformer 结构详细介绍及其工作原理 #### 1. Transformer 的整体架构 Transformer 是一种基于注意力机制的神经网络模型，它摒弃了传统 RNN 和 CNN 中的时间依赖性和局部特征提取方式，转而通过全局上下文关系来捕捉输入数据中的模式。整个模型由编码器（Encoder）和解码器（Decoder）两部分构成[^1]。 - **编码器（Encoder）**: 负责接收输入序列并将其转换为高维表示向量。 - **解码器（Decoder）**: 基于编码器生成的上下文信息逐步生成目标序列。 两者之间通过多头注意力机制实现高效的交互学习。 --- #### 2. 编码器（Encoder）结构详解 编码器是由多个相同的层堆叠而成，每一层主要包含两个子模块： - **多头自注意力机制（Multi-head Self-Attention Mechanism）** 多头注意力允许模型在同一时间关注不同位置的信息，从而捕获更丰富的语义特征。具体计算过程如下： 给定输入 $Q$（Query）、$K$（Key）、$V$（Value），分别对应查询、键和值矩阵，则注意力分数可以表示为： \[ Attention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 $\sqrt{d_k}$ 是缩放因子，用于稳定梯度传播[^1]。 - **前馈全连接网络（Feed-Forward Neural Network）** 这是一个简单的线性变换加激活函数组成的双层网络，作用是对每个多头注意力输出进一步加工处理。 为了增强训练稳定性，在每个子模块之后都加入了残差连接以及 Layer Normalization 操作[^3]。 --- #### 3. 解码器（Decoder）结构详解 解码器同样由若干相同层次叠加构建，不过相比编码器多了额外的一个交叉注意力模块用来引入外部上下文信息。其基本单元也分为三个部分： - **掩蔽多头自注意力机制（Masked Multi-head Self-Attention Mechanism）** 此处使用掩码技术防止当前位置看到后续词元的内容，确保预测时遵循因果顺序[^2]。 - **编码器-解码器注意力（Encoder-Decoder Attention）** 将来自编码器的最后一层隐藏状态作为 Key 和 Value 输入，当前时刻的状态作为 Query ，完成跨模态间的信息传递。 - **前馈全连接网络（Feed-Forward Neural Network）** 功能同编码器一致，负责最终特征映射。 最后经过 Softmax 层得到概率分布形式的目标单词预测结果。 --- #### 4. 工作流程概述 当给定源语言句子时，先经分词工具拆分成 token 列表；随后嵌入到固定维度空间并通过 Positional Encoding 添加相对或绝对位置信息。接着送入 Encoder 部分逐级提炼抽象表达直至最高级别汇总全部含义。与此同时 Decoder 开始依据初始标志符一步步推测下一个最可能匹配项直到遇到终止信号为止[^2]。 ```python import torch.nn as nn class Transformer(nn.Module): def __init__(self, d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1): super(Transformer, self).__init__() encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=dropout) decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=dropout) self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_encoder_layers) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_decoder_layers) def forward(self, src, tgt, src_mask=None, tgt_mask=None): memory = self.encoder(src, mask=src_mask) output = self.decoder(tgt, memory, tgt_mask=tgt_mask) return output ``` ---