Transformer里自注意力之后为什么还要加前馈网络？它具体怎么把向量变‘高级’的？

### 前馈神经网络对自注意力机制输出的处理前馈神经网络（Feedforward Neural Network, FNN）是一种典型的神经网络架构，它可以通过多层感知器的方式接收来自其他模块（如自注意力机制）的输入，并对其进行进一步的特征转换和提取[^3]。 #### 输入阶段自注意力机制的输出通常是一个矩阵形式的数据，其中每一行代表输入序列中某个位置经过上下文建模后的向量表示。这些向量已经包含了全局范围内的依赖关系信息，因此可以被视作一种增强版的词嵌入表示[^1]。当这种表示进入FNN时，会被视为标准的数值型张量输入。 #### 转换过程在接收到自注意力机制生成的向量之后，FNN会依次通过若干隐藏层来进行逐级抽象化操作。每层内部主要完成两部分工作：线性变换与非线性激活。具体来说： - **线性变换** 对于第\(l\)层而言，假设当前层接受到上一层传来的特征\(\mathbf{h}^{(l-1)} \in \mathbb{R}^{n_{l-1}}\)，那么该层计算新的隐状态为： ```python z^(l) = W^(l) * h^(l-1) + b^(l) ``` 这里,\(W^{(l)}\)是可训练参数构成的权重矩阵；而\(b^{(l)}\)则是偏置项向量[^2]。 - **非线性映射** 接着会对上述结果施加某种非线性的激励函数f()得到最终本层输出: ```python h^(l) = f(z^(l)) ``` 激励函数的选择对于整个系统的表达能力至关重要，在现代实践中常用的有ReLU(Rectified Linear Unit), tanh(Hyperbolic Tangent Function)，以及更复杂的变体比如Leaky ReLU或者GELU(Gaussian Error Linear Units)[^2]。随着层数增加，低层次捕获的是较为基础简单的模式，高层次逐渐形成复杂精细的概念描述，这就是所谓的“高级别特征”的由来。 #### 输出解释最后，顶层所获得的状态可以直接用于预测任务，例如分类标签的概率分布或者是回归目标的具体数值估计。如果涉及多类别判定，则可能还需要额外加入softmax之类的规范化手段确保概率合法性[^4]。 ```python import torch.nn as nn class FFN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(FFN, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x): out = self.fc1(x) # 线性变换 out = self.relu(out) # 非线性激活 out = self.fc2(out) # 另一次线性变换至输出维度 return out ``` 以上代码片段展示了一个简单实现版本的双层全连接前馈神经网络结构定义及其正向传播逻辑。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Linux里Python虚拟环境默认存在哪儿？怎么自定义存放位置？