《Attention Is All You Need》中提出的Transformer模型架构主要由编码器（Encoder）和解码器（Decoder）两部分组成，以下是详细介绍： ### 编码器 编码器由多个相同的编码层堆叠而成，论文中使用了6个编码层。每个编码层包含两个子层： #### 多头自注意力机制 多头自注意力机制允许模型在不同的表示子空间中并行地关注输入序列的不同部分。对于输入序列中的每个元素，会将其映射到查询（Query）、键（Key）和值（Value）三个向量。通过计算查询向量和键向量之间的相似度得分，经过softmax函数得到注意力权重，再将注意力权重与值向量相乘并求和，就得到了该位置的自注意力输出。公式如下： \[Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V\] 其中，$Q$ 是查询矩阵，$K$ 是键矩阵，$V$ 是值矩阵，$d_k$ 是键向量的维度。 多头注意力机制将自注意力机制重复多次，每次使用不同的线性变换将输入映射到不同的子空间，然后将各个子空间的输出拼接起来，再经过一个线性变换得到最终的输出。公式如下： \[MultiHead(Q, K, V) = Concat(head_1, \cdots, head_h)W^O\] 其中，$head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)$，$W_i^Q$、$W_i^K$、$W_i^V$ 是用于将输入映射到不同子空间的线性变换矩阵，$W^O$ 是用于将各个子空间的输出拼接起来的线性变换矩阵。 #### 前馈神经网络 前馈神经网络是一个简单的两层全连接网络，中间包含一个ReLU激活函数。它对多头自注意力机制的输出进行非线性变换，增强模型的表达能力。公式如下： \[FFN(x) = max(0, xW_1 + b_1)W_2 + b_2\] 其中，$W_1$、$W_2$ 是权重矩阵，$b_1$、$b_2$ 是偏置向量。 在每个子层之后，都使用了残差连接和层归一化（Layer Normalization）来缓解梯度消失问题，提高模型的训练稳定性。 ### 解码器 解码器同样由多个相同的解码层堆叠而成，论文中也使用了6个解码层。每个解码层包含三个子层： #### 多头掩码自注意力机制 多头掩码自注意力机制与多头自注意力机制类似，但在计算注意力权重时，会使用掩码（Mask）来确保模型在生成当前位置的输出时，只能关注到该位置及其之前的元素，从而保证模型的自回归特性。 #### 多头编码器 - 解码器注意力机制 多头编码器 - 解码器注意力机制允许解码器在生成输出序列时，关注编码器的输出信息。它的计算方式与多头自注意力机制相同，但查询向量来自解码器的上一层输出，键向量和值向量来自编码器的输出。 #### 前馈神经网络 解码器中的前馈神经网络与编码器中的前馈神经网络结构相同，用于对多头编码器 - 解码器注意力机制的输出进行非线性变换。 同样，在每个子层之后，都使用了残差连接和层归一化来缓解梯度消失问题，提高模型的训练稳定性。 ### 位置编码 由于Transformer本身的架构是不具备捕捉序列中元素位置顺序的能力的，而在很多自然语言处理任务中，元素的位置信息是非常重要的。因此，Transformer使用了位置编码（Positional Embedding）来为模型提供序列中元素的位置信息。位置编码通过sine/cosine函数将位置信息映射到频域，每一列代表一个频率分量，列间保持正交性；使用指数方式控制频率分布，使得最小频率足够小、周期足够大，从而支持更长序列；同时，位置差异被转化为向量空间中的旋转角度，使模型能更好地捕捉相对位置信息 [^3]。 ### 代码示例 以下是一个简单的使用PyTorch实现的Transformer编码器层的代码示例： ```python import torch import torch.nn as nn class TransformerEncoderLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward=2048, dropout=0.1): super(TransformerEncoderLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(dropout) self.linear2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout1 = nn.Dropout(dropout) self.dropout2 = nn.Dropout(dropout) def forward(self, src, src_mask=None, src_key_padding_mask=None): src2 = self.self_attn(src, src, src, attn_mask=src_mask, key_padding_mask=src_key_padding_mask)[0] src = src + self.dropout1(src2) src = self.norm1(src) src2 = self.linear2(self.dropout(torch.relu(self.linear1(src)))) src = src + self.dropout2(src2) src = self.norm2(src) return src ```