### Transformer架构与传统神经网络的差异及共同点 #### 共同点 1. **基于权重的学习机制** Transformer和传统神经网络（如卷积神经网络CNN、循环神经网络RNN）都依赖于参数化的权重矩阵来进行训练，并通过反向传播算法优化损失函数以调整这些权重[^4]。 2. **非线性变换的应用** 无论是传统的神经网络还是Transformer，都会利用激活函数或类似的非线性操作来提升模型的表现力。例如ReLU在CNN中广泛使用，而Transformer则在其前馈网络(Feed-Forward Network, FFN)部分采用ReLU或其他激活函数[^5]。 3. **并行计算的支持** 这两种类型的网络都可以部署到GPU或者TPU等硬件加速设备上来提高运算速度。特别是对于大规模的数据集而言，这种支持显得尤为重要[^6]。 #### 差异 1. **核心组件的不同** - **Transformer**: 主要依靠自注意力(Self-Attention)机制以及多头注意力(Multi-head Attention)，能够一次性关注整个输入序列的所有元素之间的关系，非常适合处理长距离依赖问题。 ```python class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model = d_model self.num_heads = num_heads def forward(self, Q, K, V): ... ``` - **传统神经网络**(如LSTM/GRU): 更加侧重时间维度上的状态转移逻辑，即当前时刻的状态不仅取决于现在的输入还受到之前隐藏层的影响；相比之下，在某些特定场景下可能无法有效捕获全局信息[^7]。 2. **输入表示方式的变化** - 对于文本类任务来说，Transformers会先将词映射成固定长度的稠密向量形式——Embedding Vector，再加上Positional Encoding之后送入后续模块进行加工； - 而像RNN这样的经典方法则是逐字读取句子中的每一个token作为单独的时间步长依次传递给下一个单元直至结束[^8]。 3. **效率方面的考量** - 因为不存在显式的顺序执行流程，所以理论上讲Transfomer可以充分利用现代计算机体系结构所提供的高度并发特性从而达到更快的速度表现； - 反观那些具有内在因果约束条件的传统模型，则往往难以做到这一点因为它们需要等待前面一层的结果出来以后才能继续下一步的操作[^9]。 ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): """Implements FFN equation.""" def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(F.relu(self.w_1(x)))) ```