Transformer里那个两层全连接网络有什么特别的设计用意？

### Transformer 架构中 MLP 模块的作用在 Transformer 架构中，多层感知器 (MLP) 是每个编码器和解码器层的一部分。该模块负责处理自注意力机制后的特征向量，并进一步提取高级语义信息[^3]。具体来说，在每一层的自注意力机制之后会应用两个前馈神经网络（Feed-Forward Neural Network, FFNN）。这两个FFNN构成了所谓的“位置全连接层”，它们在整个序列长度上共享权重。第一个FFNN通常具有较大的维度扩展因子（比如4倍），而第二个则缩小回原始输入尺寸： ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): def __init__(self, d_model=512, d_ff=2048, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(torch.relu(self.w_1(x)))) ``` 此代码展示了如何构建一个简单的两层前馈网络作为Transformer的位置全连接部分。`d_model`表示模型隐藏状态大小；`d_ff`定义中间层宽度，默认设置为 `d_model * 4`。ReLU激活函数被用来增加非线性特性，使得模型能够捕捉更复杂的模式[^5]。 MLP 的主要功能在于它能够在不改变时间步之间关系的情况下增强局部表达能力。由于其参数独立于不同位置的数据点，因此可以并行化计算整个批次内的所有位置上的操作，从而提高效率[^4]。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Python里1后面跟28个零的数字，实际占多少内存？