### Transformer架构详解 #### 编码器（Encoder） Transformer的主要架构由编码器和解码器两部分组成，这两部分都是基于自注意力（Self-Attention）机制构建的[^2]。编码器负责接收输入序列并将其转换成一系列上下文向量表示。每一个编码层都包含了两个子层： 1. **多头自注意力机制（Multi-head Self-Attention Mechanism）** 多头自注意力允许模型在同一位置关注来自不同表征空间的信息。通过线性映射将输入分割为多个“头”，每个头独立计算查询、键和值矩阵，再经过缩放点积注意函数得到加权求和的结果。 2. **前馈全连接网络（Feed Forward Neural Network, FFNN）** 前馈神经网络是一个简单的两层线性变换加上ReLU激活函数构成的标准MLP模块。该操作是对所有位置共享参数执行相同的操作，从而实现局部特征提取的功能。 为了稳定训练过程，在上述每种子层之后还加入了残差连接以及Layer Normalization正则化技术来防止梯度消失或爆炸现象的发生。 ```python class EncoderBlock(nn.Module): def __init__(self, d_model=512, num_heads=8, dropout_rate=0.1): super(EncoderBlock, self).__init__() # Multihead Attention Layer self.multi_head_attention = nn.MultiheadAttention(d_model, num_heads) # Feedforward layer with two linear transformations and a ReLU activation in between. self.feed_forward = nn.Sequential( nn.Linear(d_model, 2048), nn.ReLU(), nn.Dropout(dropout_rate), nn.Linear(2048, d_model) ) self.layer_norm_1 = nn.LayerNorm(d_model) self.layer_norm_2 = nn.LayerNorm(d_model) def forward(self, x): attn_output, _ = self.multi_head_attention(x,x,x) out1 = self.layer_norm_1(x + attn_output) ffn_output = self.feed_forward(out1) output = self.layer_norm_2(out1 + ffn_output) return output ``` #### 解码器（Decoder） 解码器同样也采用了类似的双层设计思路，不过在此基础上增加了一个额外的组件——掩蔽多头注意力（Masked Multi-Head Attention）。这一特性使得解码过程中能够屏蔽掉未来时刻的状态信息，确保预测时只依赖于当前及之前的时间步数据。具体来说，解码器包含三个主要组成部分： 1. **掩蔽多头自注意力机制（Masked Multi-Head Self-Attention）** 这一步骤用于处理目标端的目标序列内部的关系，并且采用掩蔽策略阻止当前位置看到后续的位置信息。 2. **编码器-解码器注意力层（Encoder-Decoder Attention Layer）** 此处利用上一轮编码后的源语句作为key-value对，而query来自于本阶段产生的中间状态，以此建立两者间联系。 3. **前馈全连接网络（Feed Forward Neural Network, FFNN）** 和编码器中的FFNN功能一致，旨在进一步加工融合后的特征表达。 最后，整个解码流程会重复多次迭代直至生成完整的输出序列为止。 ```python class DecoderBlock(nn.Module): def __init__(self,d_model,num_heads,dropout_rate): super().__init__() self.masked_multihead_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=num_heads,batch_first=True) self.norm1 = nn.LayerNorm(normalized_shape=[d_model]) self.encoder_decoder_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=num_heads,batch_first=True) self.norm2 = nn.LayerNorm(normalized_shape=[d_model]) self.ffn = nn.Sequential( nn.Linear(in_features=d_model,out_features=2*d_model),nn.ReLU(),nn.Dropout(p=dropout_rate), nn.Linear(in_features=2*d_model,out_features=d_model)) self.norm3 = nn.LayerNorm(normalized_shape=[d_model]) def forward(self,target_seq,memory_src_mask=None,tgt_mask=None): masked_self_attn_out,_ = self.masked_multihead_attn(query=target_seq,key=target_seq,value=target_seq,attn_mask=tgt_mask) norm1_out=self.norm1(masked_self_attn_out+target_seq) enc_dec_attn_out ,_= self.encoder_decoder_attn(query=norm1_out,key=memory_src_mask,value=memory_src_mask) norm2_out=self.norm2(enc_dec_attn_out+norm1_out) final_ffn_out=self.ffn(norm2_out) output=self.norm3(final_ffn_out+norm2_out) return output ```