BP（反向传播）算法在深层网络中易出现**梯度消失（vanishing gradient）** 和 **梯度爆炸（exploding gradient）**，其根本原因在于**链式法则下多层导数的连乘效应**： ### 一、成因分析 设某深度网络第 $ l $ 层输出为 $ a^{(l)} = \sigma(z^{(l)}) $，其中 $ z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)} $，激活函数为 $ \sigma $。 根据链式法则，损失 $ \mathcal{L} $ 对第 $ k $ 层权重 $ W^{(k)} $ 的梯度为： $$ \frac{\partial \mathcal{L}}{\partial W^{(k)}} = \underbrace{\frac{\partial \mathcal{L}}{\partial a^{(L)}} \cdot \frac{\partial a^{(L)}}{\partial a^{(L-1)}} \cdots \frac{\partial a^{(k+1)}}{\partial a^{(k)}}}_{\text{共 } (L-k) \text{ 项雅可比矩阵乘积}} \cdot \frac{\partial a^{(k)}}{\partial W^{(k)}} $$ 每项 $ \frac{\partial a^{(i)}}{\partial a^{(i-1)}} = W^{(i)} \cdot \text{diag}(\sigma'(z^{(i-1)})) $，其谱范数（最大奇异值）近似为 $ \|W^{(i)}\| \cdot \max|\sigma'(z)| $。 - **梯度消失**：当 $ \max|\sigma'(z)| < 1 $（如Sigmoid在大部分区域导数 ∈ (0, 0.25)，Tanh ∈ (0, 1)），且权重初始化偏小（如标准正态分布未缩放），则连乘后梯度指数衰减 → 靠近输入层的权重几乎不更新。 - **梯度爆炸**：若权重过大或激活函数导数较大（如线性段），连乘导致梯度指数增长 → 参数剧烈震荡、训练发散。 > ✅ 典型例证：Sigmoid网络训练10层以上时，底层梯度常低于 $10^{-10}$；RNN中长期依赖建模更易受此影响。 --- ### 二、经典改进策略及原理 | 方法 | 核心思想 | 如何缓解问题 | 关键机制 | |--------|-----------|----------------|------------| | **ReLU 及其变体**（Leaky ReLU, ELU） | 替换饱和激活函数 | ✅ 消除负半轴梯度消失：$ \sigma'(x)=1 $（$ x>0 $），导数恒为1或有下界，避免连乘衰减 | 非饱和性 + 计算高效；Leaky ReLU在 $ x<0 $ 区域保留小斜率（如0.01），防止“神经元死亡” | | **Batch Normalization（BN）** | 归一化每层输入分布 | ✅ 稳定前向传播的输入尺度 → 缓解内部协变量偏移（ICS），使各层输入保持近似零均值、单位方差 → 间接稳定 $ \sigma'(z) $ 的取值范围，抑制梯度异常 | 在 $ z^{(l)} $ 后插入归一化层：$ \hat{z} = \gamma \frac{z - \mu_B}{\sqrt{\sigma_B^2 + \varepsilon}} + \beta $，并参与反向传播 | | **残差连接（ResNet）** | 引入恒等映射捷径 | ✅ 重构优化目标：令网络学习残差 $ \mathcal{F}(x) = H(x) - x $，则 $ H(x) = x + \mathcal{F}(x) $；反向传播时梯度可直接跨层流动（$ \frac{\partial \mathcal{L}}{\partial x} = \frac{\partial \mathcal{L}}{\partial H} \cdot (1 + \frac{\partial \mathcal{F}}{\partial x}) $），避免深层连乘 | 解耦深度与梯度路径长度，使1000+层网络仍可训练 | | **权重初始化策略**（He初始化、Xavier初始化） | 按层适配权重方差 | ✅ He初始化（ReLU专用）：$ W \sim \mathcal{N}(0, 2/n_{\text{in}}) $；Xavier（Tanh/Sigmoid）：$ W \sim \mathcal{N}(0, 2/(n_{\text{in}}+n_{\text{out}})) $ → 使前向信号方差稳定，反向梯度幅值可控 | 从信号传播角度约束初始权重尺度，避免早期梯度失衡 | | **梯度裁剪（Gradient Clipping）** | 直接限制梯度模长 | ✅ 针对梯度爆炸：设定阈值 $ \tau $，若 $ \|\nabla W\|_2 > \tau $，则缩放为 $ \nabla W \leftarrow \nabla W \cdot \frac{\tau}{\|\nabla W\|_2} $ | RNN/LSTM训练中的标配技巧，不改变方向仅控制幅值 | > 💡 补充：现代架构（如Transformer）进一步采用 **LayerNorm + GELU + 学习率预热（Learning Rate Warmup）** 组合，从归一化、激活、优化动态三方面协同抑制梯度异常。 ```python # 示例：PyTorch中集成上述改进的典型模块 import torch import torch.nn as nn class ImprovedBlock(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.linear = nn.Linear(in_dim, out_dim) self.bn = nn.BatchNorm1d(out_dim) # 或 LayerNorm(out_dim) self.act = nn.ReLU() # 可替换为 nn.GELU() def forward(self, x): x = self.linear(x) x = self.bn(x) # 归一化作用于特征维度 x = self.act(x) return x # 残差块（带恒等映射） class ResidualBlock(nn.Module): def __init__(self, dim): super().__init__() self.net = nn.Sequential( nn.Linear(dim, dim), nn.BatchNorm1d(dim), nn.ReLU(), nn.Linear(dim, dim), nn.BatchNorm1d(dim) ) self.relu = nn.ReLU() def forward(self, x): return self.relu(x + self.net(x)) # 残差连接 ```