### Transformer 的定义及其与自注意力机制、CNN 和 RNN 的关系 #### 1. Transformer 的定义 Transformer 是一种基于自注意力机制的神经网络架构，最初由 Vaswani 等人在 2017 年提出[^3]。它通过自注意力机制和前馈神经网络的组合来处理输入序列，避免了传统 RNN 的顺序计算问题，从而实现了高效的并行化训练。Transformer 的核心组件包括多头注意力机制（Multi-Head Attention）和位置编码（Positional Encoding），这些组件共同作用以捕捉序列中的全局依赖关系。 #### 2. 自注意力机制的作用 自注意力机制是 Transformer 的关键组成部分，用于计算输入序列中每个位置与其他位置的相关性。通过这种方式，模型可以在处理某个位置时同时考虑整个序列的信息，而不仅仅是局部上下文或之前的隐藏状态。这种机制允许模型在单个步骤中捕捉长距离依赖关系，显著提高了模型的表达能力[^2]。 #### 3. Transformer 与 CNN 的关系 卷积神经网络（CNN）主要用于处理具有网格状拓扑结构的数据，例如图像。CNN 通过共享权重和局部连接的方式减少参数数量，并通过池化操作提取特征。相比之下，Transformer 使用自注意力机制来捕捉全局依赖关系，而不需要像 CNN 那样依赖于局部感受野。尽管如此，在某些任务中，CNN 和 Transformer 可以结合使用，例如在视觉任务中，CNN 可以用于提取局部特征，而 Transformer 可以用于建模全局关系[^1]。 #### 4. Transformer 与 RNN 的关系 循环神经网络（RNN）是一种专门设计用于处理序列数据的模型。RNN 通过维护一个隐藏状态来捕捉时间步之间的依赖关系。然而，标准 RNN 在处理长序列时容易出现梯度消失或爆炸问题，因此通常使用 LSTM 或 GRU 等变体。与 RNN 不同，Transformer 不依赖于顺序处理，而是通过自注意力机制并行地处理整个序列。这使得 Transformer 在处理长序列时更加高效[^3]。 #### 5. Transformer 的优势与局限性 Transformer 的主要优势在于其能够并行处理输入序列，从而加速训练和推理。此外，自注意力机制允许模型捕捉全局依赖关系，这对于许多自然语言处理任务至关重要。然而，Transformer 的计算复杂度较高，尤其是在处理长序列时，因为自注意力机制的时间复杂度为 \(O(n^2)\)。为了缓解这一问题，研究人员提出了多种优化方法，例如稀疏注意力机制和分块策略。 ```python import torch import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, embed_size, heads, dropout, forward_expansion): super(TransformerBlock, self).__init__() self.attention = SelfAttention(embed_size, heads) self.norm1 = nn.LayerNorm(embed_size) self.norm2 = nn.LayerNorm(embed_size) self.feed_forward = nn.Sequential( nn.Linear(embed_size, forward_expansion * embed_size), nn.ReLU(), nn.Linear(forward_expansion * embed_size, embed_size), ) self.dropout = nn.Dropout(dropout) def forward(self, value, key, query, mask): attention = self.attention(value, key, query, mask) x = self.dropout(self.norm1(attention + query)) forward = self.feed_forward(x) out = self.dropout(self.norm2(forward + x)) return out ```