在ResNet中，Batch Normalization（BN）层对每一层的输入进行标准化处理，使其保持零均值和单位方差，这一过程会改变权重分布从而防止梯度爆炸[^1]。 具体来说，在神经网络的训练过程中，每层的输入分布会随着前层参数的更新而发生变化，这种现象被称为内部协变量偏移。内部协变量偏移可能导致梯度爆炸或梯度消失问题。BN层通过对输入进行标准化，使得每层输入的均值和方差在训练过程中保持相对稳定，减少了内部协变量偏移。 从数学角度来看，对于一个mini - batch的输入数据 $x_{1},x_{2},\cdots,x_{m}$，BN层的标准化操作如下： 1. 计算均值 $\mu_{B}=\frac{1}{m}\sum_{i = 1}^{m}x_{i}$ 2. 计算方差 $\sigma_{B}^{2}=\frac{1}{m}\sum_{i = 1}^{m}(x_{i}-\mu_{B})^{2}$ 3. 进行标准化 $\hat{x}_{i}=\frac{x_{i}-\mu_{B}}{\sqrt{\sigma_{B}^{2}+\epsilon}}$，其中 $\epsilon$ 是一个很小的常数，用于保证数值稳定性。 然后，BN层还会引入两个可学习的参数 $\gamma$ 和 $\beta$，对标准化后的数据进行缩放和平移操作： $y_{i}=\gamma\hat{x}_{i}+\beta$ 通过这种方式，BN层使得每层输入的分布更加稳定，避免了因输入分布的剧烈变化而导致的梯度爆炸问题。同时，BN层允许使用更大的学习率，因为它减少了参数更新对输入分布的影响，使得模型在训练过程中更加稳定。此外，BN层还有轻微的正则化效果，有助于缓解梯度问题[^1]。 ```python import torch import torch.nn as nn # 定义一个简单的包含BN层的ResNet块 class ResidualBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super(ResidualBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(out_channels) self.shortcut = nn.Sequential() if stride != 1 or in_channels != out_channels: self.shortcut = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(out_channels) ) def forward(self, x): out = self.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = self.relu(out) return out ```