### 不同层归一化方法的比较与差异 #### Batch Normalization (BN) Batch Normalization 是一种广泛使用的正则化技术，旨在减少内部协变量偏移（Internal Covariate Shift）。它通过对每一批次中的激活值进行规范化操作来实现这一目标。具体来说，在训练过程中，对于每一层的输入，计算该批次内的均值和方差，并利用这些统计量对数据进行缩放和平移[^2]。 然而，由于 BN 需要依赖于整个 mini-batch 的统计数据来进行标准化，因此当 batch size 较小时可能会导致性能下降或者不稳定的结果。此外，在推理阶段也需要额外保存训练期间得到的整体均值与标准差用于测试样本的变换[^4]。 #### Layer Normalization (LN) Layer Normalization 则是对单一样本的所有维度执行独立的标准差/平均数调整过程，而不考虑其他样例的影响。这意味着 LN 可以很好地适应变长序列模型以及较小甚至单一大小批量的情况，因为它不涉及跨实例间的交互作用[^1]。 相比起传统的批处理方式而言，这种方法能够更稳定地应用于 RNN 或者 Transformer 这样的结构之中；因为后者通常具有动态长度的时间步长作为其组成部分之一——而固定尺寸窗口下的传统批量范式难以满足此类需求特性[^3]。 总结起来： | 特性 | 批量归一化(BN) | 层级归一化(LN) | |-------------------|--------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------| | **适用场景** | 更适合卷积神经网络(CNNs)，尤其是图像分类任务 | 对循环神经网络(RNNs)/变压器架构更为友好 | | **参数估计依据** | 基于当前mini-batch内所有样本 | 单独针对每一个单独样本 | | **batch-size敏感度** | 显著影响效果 | 几乎无影响 | 下面给出一段简单的 PyTorch 实现对比两者: ```python import torch from torch import nn # 创建随机张量 input_tensor = torch.randn(32, 100) # 初始化两种不同的norm layer bn_layer = nn.BatchNorm1d(input_tensor.size(-1)) ln_layer = nn.LayerNorm(input_tensor.size(-1)) output_bn = bn_layer(input_tensor) output_ln = ln_layer(input_tensor) print("Output shape after applying Batch Norm:", output_bn.shape) print("Output shape after applying Layer Norm:", output_ln.shape) ```