### PyTorch 中 `nn.BatchNorm2d` 的 Momentum 参数作用与含义 在深度学习框架 PyTorch 中，`nn.BatchNorm2d` 是一种常用的批量归一化（Batch Normalization）方法。它的核心目标是对神经网络中间层的激活值进行标准化处理，从而加速训练过程并提高模型泛化能力。 #### 1. **Momentum 参数的作用** - 在批量归一化的实现中，`momentum` 参数主要用于控制运行时均值 (`running_mean`) 和运行时方差 (`running_var`) 的更新方式。 - 运行时统计量是用来估算整个训练集分布特性的工具，在测试阶段尤为重要。它们通过指数加权移动平均的方法逐步累积历史批次的信息[^4]。 公式如下所示： \[ \text{running\_mean} = (1 - \text{momentum}) \times \text{running\_mean} + \text{momentum} \times \mu_t \] \[ \text{running\_var} = (1 - \text{momentum}) \times \text{running\_var} + \text{momentum} \times \sigma_t^2 \] 其中： - \( \mu_t \) 表示当前 mini-batch 数据的样本均值； - \( \sigma_t^2 \) 表示当前 mini-batch 数据的样本方差； - 默认情况下，`momentum=0.1`，意味着新一批次的数据对全局统计量的影响较小，而旧的历史统计数据占据较大权重[^4]。 #### 2. **Momentum 参数的具体影响** - 较低的 `momentum` 值会使运行时统计更加依赖于过去积累的经验数据，减少单个 batch 对总体估计造成的波动，适合大规模稳定数据集的情况。 - 高 `momentum` 则会让最近几个 batch 更显著地调整这些长期跟踪指标，可能有助于快速适应非平稳环境下的分布偏移现象[^5]。 #### 3. **代码演示** 以下是一个简单的例子展示了如何配置以及观察不同 momentum 设置的效果： ```python import torch from torch import nn # 创建随机输入张量 input_tensor = torch.randn(8, 4, 6, 6) # 定义 BatchNorm2d 层，分别尝试两种不同的 momentum 值 bn_low_momentum = nn.BatchNorm2d(4, momentum=0.1) bn_high_momentum = nn.BatchNorm2d(4, momentum=0.9) print("Initial running mean and var:") print(bn_low_momentum.running_mean, bn_low_momentum.running_var) print(bn_high_momentum.running_mean, bn_high_momentum.running_var) output_low = bn_low_momentum(input_tensor) output_high = bn_high_momentum(input_tensor) print("\nAfter first forward pass with low momentum:") print(bn_low_momentum.running_mean, bn_low_momentum.running_var) print("\nAfter first forward pass with high momentum:") print(bn_high_momentum.running_mean, bn_high_momentum.running_var) ``` 在这个脚本执行之后可以看到两组不同的运行状态变化趋势[^4]。 --- ###