Dropout 层的应用位置在激活函数之后、第二个线性变换（`fc2`）之前。其作用对象是**激活函数的输出张量**，而非激活函数本身。 在 Transformer 的 FFN（Position-wise Feed-Forward Network）标准实现中，Dropout 被应用于第一个线性层（`fc1`）经激活函数（如 ReLU、GELU）处理后的中间隐藏层表示。具体流程如下： 1. 输入 `x` 通过 `fc1` 线性变换，维度从 `d_model` 扩展至 `d_ff`（例如 512 → 2048）。 2. 对线性变换结果应用非线性激活函数（如 GELU）。 3. 在激活函数的输出上施加 Dropout：以概率 `p` 随机将部分神经元输出置零。 4. Dropout 后的结果再通过 `fc2` 线性变换，维度压缩回 `d_model`。 该设计源于原始 Transformer 论文《Attention Is All You Need》[ref_1]，其中 FFN 定义为： \[ \text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2 \] 论文随后在实验部分说明：“We apply dropout [33] to the output of each sub-layer, before it is added to the sub-layer input and normalized.” 这里的 “sub-layer” 包括多头注意力层和 FFN 层。在 FFN 内部，Dropout 通常被置于激活函数之后，以实现对隐藏层激活值的正则化。 以下为 PyTorch 实现片段，清晰展示了 Dropout 的位置： ```python import torch.nn as nn class PositionWiseFFN(nn.Module): def __init__(self, d_model: int, d_ff: int, dropout: float = 0.1): super().__init__() self.fc1 = nn.Linear(d_model, d_ff) # 第一个线性层 self.activation = nn.GELU() # 激活函数 self.dropout = nn.Dropout(dropout) # Dropout 层 self.fc2 = nn.Linear(d_ff, d_model) # 第二个线性层 def forward(self, x): x = self.fc1(x) # (B, T, d_model) → (B, T, d_ff) x = self.activation(x) # 应用非线性激活 x = self.dropout(x) # 对激活输出进行 Dropout x = self.fc2(x) # (B, T, d_ff) → (B, T, d_model) return x ``` **技术辨析**： - **Dropout 的对象**：是激活函数的输出值（即隐藏层神经元的激活值），而非激活函数的计算过程。 - **工程考量**：将 Dropout 置于激活之后而非之前，是因为经过非线性激活后的特征表示通常具有更高的判别性，此时进行随机丢弃能更有效地破坏潜在的过拟合模式。若在激活前应用 Dropout，线性变换后的值可能尚未充分非线性化，正则化效果较弱。 - **训练与推理差异**：Dropout 仅在训练阶段激活，在推理阶段会被关闭（即 `self.dropout` 变为恒等映射），因此它不属于模型的核心架构组件，而是一种**训练期正则化技术**。 **延伸讨论**： 尽管标准实现将 Dropout 放在激活之后，但某些变体（如 “Dropout before activation”）在研究中亦有探讨。例如，将 Dropout 应用于线性层的输出（激活前）可能在某些场景下缓解梯度爆炸问题。然而，Transformer 系列模型普遍遵循 “激活后 Dropout” 模式，这已成为社区事实标准。在 BERT、GPT 等主流预训练模型的公开实现中，FFN 部分的 Dropout 均按此顺序实现。 **总结**： 在 Transformer 的 FFN 中，Dropout **针对激活函数的输出**进行操作，位于激活函数与第二个线性层之间。这种设计平衡了正则化效果与信息流动的稳定性，是经过大量实验验证的最佳实践。