### Transformer 结构的详细组成和工作原理 #### 1. 整体架构概述 Transformer 是一种基于自注意力机制（Self-Attention Mechanism）的神经网络模型，摒弃了传统 RNN 和 LSTM 的顺序计算方式，转而通过并行化的方式高效处理序列数据[^1]。其整体架构分为两大部分：编码器（Encoder）和解码器（Decoder），二者共同协作完成输入到输出的转换任务。 --- #### 2. 编码器（Encoder） 编码器由多个相同的层堆叠而成，每一层主要包含两个子层：多头自注意力机制（Multi-head Self-Attention）和前馈神经网络（Feed Forward Neural Network）。以下是各组成部分的具体描述： ##### （1）多头自注意力机制（Multi-head Self-Attention） 自注意力机制的核心在于捕获输入序列中不同位置之间的关联性。具体而言，它通过查询向量（Query）、键向量（Key）和值向量（Value）三者的交互来计算权重矩阵，并据此生成新的表示形式[^3]。为了增强表达能力，Transformer 使用了多头策略，即将原始向量拆分成多个低维子空间，在这些子空间独立执行自注意力运算后再拼接起来[^4]。 公式如下： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 \( Q \)，\( K \)，\( V \) 分别代表 Query、Key 和 Value；\( d_k \) 表示 Key 向量的维度。 ```python import torch import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, embed_size, heads): super(MultiHeadAttention, self).__init__() self.embed_size = embed_size self.heads = heads self.head_dim = embed_size // heads assert ( self.head_dim * heads == embed_size ), "Embedding size needs to be divisible by heads" self.values = nn.Linear(self.head_dim, self.head_dim, bias=False) self.keys = nn.Linear(self.head_dim, self.head_dim, bias=False) self.queries = nn.Linear(self.head_dim, self.head_dim, bias=False) self.fc_out = nn.Linear(heads * self.head_dim, embed_size) def forward(self, values, keys, query, mask=None): N = query.shape[0] value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1] # Split the embedding into self.heads different pieces values = values.reshape(N, value_len, self.heads, self.head_dim) keys = keys.reshape(N, key_len, self.heads, self.head_dim) queries = query.reshape(N, query_len, self.heads, self.head_dim) energy = torch.einsum("nqhd,nkhd->nhqk", [queries, keys]) if mask is not None: energy = energy.masked_fill(mask == 0, float("-1e20")) attention = torch.softmax(energy / (self.embed_size ** (1/2)), dim=3) out = torch.einsum("nhql,nlhd->nqhd", [attention, values]).reshape( N, query_len, self.heads * self.head_dim ) return self.fc_out(out) ``` ##### （2）前馈神经网络（Feed Forward Neural Network） 每个编码器层还包括一个简单的全连接前馈网络，该网络对所有位置共享相同参数。通常采用 ReLU 激活函数以增加非线性特性[^4]。 ```python class FeedForward(nn.Module): def __init__(self, embed_size, hidden_size, dropout_rate=0.1): super(FeedForward, self).__init__() self.linear_1 = nn.Linear(embed_size, hidden_size) self.dropout = nn.Dropout(dropout_rate) self.linear_2 = nn.Linear(hidden_size, embed_size) def forward(self, x): x = self.dropout(torch.relu(self.linear_1(x))) return self.linear_2(x) ``` ##### （3）残差连接与归一化 为了缓解深层网络中的梯度消失问题，Transformer 在每个子层之后加入了残差连接以及逐层归一化操作[^4]。 ```python class EncoderLayer(nn.Module): def __init__(self, embed_size, heads, hidden_size, dropout_rate=0.1): super(EncoderLayer, self).__init__() self.attention = MultiHeadAttention(embed_size, heads) self.norm1 = nn.LayerNorm(embed_size) self.ffn = FeedForward(embed_size, hidden_size, dropout_rate) self.norm2 = nn.LayerNorm(embed_size) self.dropout = nn.Dropout(dropout_rate) def forward(self, x, mask=None): attn_output = self.attention(x, x, x, mask) x = self.norm1(x + self.dropout(attn_output)) ffn_output = self.ffn(x) x = self.norm2(x + self.dropout(ffn_output)) return x ``` --- #### 3. 解码器（Decoder） 解码器同样由若干个重复单元构成，不过相比编码器多了交叉注意力机制（Cross Attention）这一环节，用于融合来自编码器的信息[^3]。 ##### （1）掩蔽多头自注意力机制（Masked Multi-head Self-Attention） 由于解码过程中需要遵循因果关系——当前时刻仅能利用之前已知的内容，因此在构建自注意力时需施加遮挡措施，阻止后续信息泄露[^2]。 ##### （2）交叉注意力机制（Cross Attention） 此部分接受编码器传递过来的结果作为额外上下文线索参与计算，进一步提升翻译质量或其他目标任务表现水平。 ##### （3）最终投影层 经过一系列变换后，最后一轮 FFN 输出会被送入 Softmax 函数得出对应词表的概率分布情况。 ```python class DecoderLayer(nn.Module): def __init__(self, embed_size, heads, hidden_size, dropout_rate=0.1): super(DecoderLayer, self).__init__() self.self_attention = MultiHeadAttention(embed_size, heads) self.cross_attention = MultiHeadAttention(embed_size, heads) self.norm1 = nn.LayerNorm(embed_size) self.norm2 = nn.LayerNorm(embed_size) self.ffn = FeedForward(embed_size, hidden_size, dropout_rate) self.norm3 = nn.LayerNorm(embed_size) self.dropout = nn.Dropout(dropout_rate) def forward(self, trg, enc_src, src_mask=None, trg_mask=None): masked_attn_output = self.self_attention(trg, trg, trg, trg_mask) x = self.norm1(trg + self.dropout(masked_attn_output)) cross_attn_output = self.cross_attention(x, enc_src, enc_src, src_mask) x = self.norm2(x + self.dropout(cross_attn_output)) ffn_output = self.ffn(x) x = self.norm3(x + self.dropout(ffn_output)) return x ``` --- #### 4. 总结 综上所述，Transformer 利用自注意力机制实现了灵活高效的特征抽取功能，同时借助精心设计的编码器与解码器框架完成了多种自然语言处理任务的良好支持[^1]。 ---