### Transformer 架构概述 Transformers 是一种基于自注意力机制的神经网络架构，最初由 Vaswani 等人在 2017 年提出。该架构摒弃了传统的循环神经网络 (RNN) 和卷积神经网络 (CNN)，转而采用完全依赖于注意力机制的设计来处理输入数据。 #### 编码器-解码器结构 Transformer 的核心组成部分是一个编码器-解码器框架。编码器负责接收并转换输入序列成一组向量表示；解码器则利用这些向量以及目标端的历史信息生成输出序列[^1]。 ```python class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, dff, rate=0.1): super(EncoderLayer, self).__init__() self.mha = MultiHeadAttention(d_model, num_heads) self.ffn = point_wise_feed_forward_network(d_model, dff) self.layernorm1 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.layernorm2 = nn.LayerNorm(normalized_shape=d_model, eps=1e-6) self.dropout1 = nn.Dropout(rate) self.dropout2 = nn.Dropout(rate) def forward(self, x, mask): attn_output, _ = self.mha(x, x, x, mask) # Self attention attn_output = self.dropout1(attn_output) out1 = self.layernorm1(x + attn_output) # Residual connection followed by layer normalization ffn_output = self.ffn(out1) ffn_output = self.dropout2(ffn_output) out2 = self.layernorm2(out1 + ffn_output) # Residual connection followed by layer normalization return out2 ``` ### 注意力机制的作用 在深度学习中，尤其是对于自然语言处理任务而言，注意力机制允许模型聚焦于输入序列的不同部分，从而更好地捕捉上下文关系。具体来说，在机器翻译场景下，它通过计算源语句各位置的重要性权重，使得译文中每个词都能对应到最相关的原文片段上[^2]。 这种可训练的加权平均方法不仅提高了性能表现，还赋予了模型更强的理解能力，能够有效地应对长距离依赖问题。 ### Sparse Transformers 及其优势 除了标准版本外，研究者们也探索了稀疏化变体——Sparse Transformers。这类改进型设计旨在解决大规模预训练过程中遇到的记忆瓶颈与计算效率低下等问题。通过对内部连接模式施加特定约束条件（如局部窗口限制），可以在保持甚至提升原有功能的同时显著减少参数数量和运算成本[^3]。