Transformer里的FFN为什么叫‘位置无关却逐位置计算’？它到底怎么工作的？

### Position-Wise Feed-Forward Network 的概念在 Transformer 架构中，Position-Wise Feed-Forward Network (FFN) 是一种应用于每个位置的前馈神经网络结构[^1]。该网络独立作用于序列中的每一个位置，并共享相同的参数集。具体来说，FFN 包含两层线性变换，中间夹着一层激活函数（通常是 ReLU）。其数学表达形式如下： \[ FFN(x) = \max(0, xW_1 + b_1)W_2 + b_2 \] 其中 \( W_1 \), \( W_2 \), \( b_1 \), 和 \( b_2 \) 表示可学习的权重矩阵和偏置向量。输入 \( x \) 经过第一个全连接层后通过非线性激活函数处理，再经过第二个全连接层得到最终输出。以下是 FFN 的 Python 实现代码示例： ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) self.relu = nn.ReLU() def forward(self, x): return self.w_2(self.dropout(self.relu(self.w_1(x)))) ``` 在这个实现中，`d_model` 是输入和输出维度大小，而 `d_ff` 则是隐藏层的较大维度尺寸。ReLU 激活函数用于引入非线性特性。值得注意的是，在 Transformer 中，特征映射的学习方式不同于传统的手动设计方法（如多项式特征映射或支持向量机使用的高斯核），而是通过深度学习自动完成这一过程[^2]。此外，尽管 FFN 对每个位置单独操作，但由于残差连接的存在，模型能够更好地捕捉长期依赖关系并缓解梯度消失问题[^3]。 #### 注意事项虽然 FFN 提供了强大的表示能力，但它并不负责捕获单词之间的相对位置信息；这部分功能由自注意力机制结合位置编码共同完成。 ---

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Transformer里每个词是怎么‘看到’句子里其他词的？