### Group Normalization (GN) 原理 Group Normalization (GN)[^5]是一种针对Batch Normalization (BN) 在小批量数据上表现不佳的情况提出的改进方法。其核心思想是将通道划分为若干组，每组内的特征图进行独立的均值和方差计算并完成归一化操作。 具体来说，假设输入张量形状为 \(N \times C \times H \times W\) （\(N\) 表示批次大小, \(C\) 表示通道数, \(H\) 和 \(W\) 分别表示高度和宽度），则 GN 将这 \(C\) 个通道分成 \(G\) 组 (\(G\) 是超参数)，每一组包含 \(C/G\) 个通道。接着分别对每个分组中的所有像素点求平均值和标准差，并据此调整每个像素点的数值范围： \[ y_{n,c,h,w} = \frac{x_{n,c,h,w}-\mu_g}{\sqrt{\sigma^2_g+\epsilon}}*\gamma + \beta, \] 其中， - \(\mu_g\) 和 \(\sigma^2_g\) 分别代表第 \(g\) 组内所有元素的均值和方差； - \(\gamma\) 和 \(\beta\) 是可学习的仿射变换参数，用于恢复因标准化而丢失的数据分布特性[^5]； 这种设计避免了 BN 对大批次的需求，尤其适合处理图像分割、目标检测等任务中小批量甚至单样本情况下的训练过程。 ### 实现代码示例 以下是基于 PyTorch 的简单实现方式： ```python import torch import torch.nn as nn class GroupNorm(nn.Module): def __init__(self, num_groups, num_channels, eps=1e-5, affine=True): super(GroupNorm, self).__init__() self.num_groups = num_groups self.eps = eps self.affine = affine if self.affine: self.weight = nn.Parameter(torch.ones(num_channels)) self.bias = nn.Parameter(torch.zeros(num_channels)) def forward(self, x): N, C, H, W = x.size() G = self.num_groups assert C % G == 0 x = x.view(N, G, -1) mean = x.mean(-1, keepdim=True) var = x.var(-1, unbiased=False, keepdim=True) x = (x-mean)/torch.sqrt(var+self.eps) x = x.view(N,C,H,W) if self.affine: weight = self.weight.unsqueeze(0).unsqueeze(2).unsqueeze(3) bias = self.bias.unsqueeze(0).unsqueeze(2).unsqueeze(3) x = x * weight + bias return x ``` 上述代码定义了一个 `GroupNorm` 类继承自 `nn.Module` ，实现了基本功能。它接受四个初始化参数：分组数量 (`num_groups`)、通道总数(`num_channels`)以及其他常规设置如精度控制项 `\eps` 及是否启用仿射变换标志位 `affine`.