### PyTorch中的归一化方法及其实现 #### Batch Normalization (BatchNorm) Batch Normalization 是一种用于加速深度神经网络训练的技术，通过减少内部协变量偏移来提高模型性能。它通过对每一批次数据的不同样本在同一特征上进行归一化操作[^2]。 在 PyTorch 中，`torch.nn.BatchNorm2d(num_features)` 提供了对二维输入（通常为图像）的支持。其核心思想是在每个 mini-batch 上计算均值和方差，并利用这些统计量对激活函数的输出进行标准化处理。具体实现如下： ```python import torch from torch import nn batch_norm_layer = nn.BatchNorm2d(num_features=3) # 假设输入有3个通道 input_tensor = torch.randn(10, 3, 224, 224) # 输入张量形状 [batch_size, channels, height, width] output_tensor = batch_norm_layer(input_tensor) print(output_tensor.shape) # 输出形状保持不变 [10, 3, 224, 224] ``` 上述代码定义了一个 `nn.BatchNorm2d` 层并应用于随机生成的数据集。注意，该层会自动调整参数以适应不同的批次大小和输入尺寸[^1]。 --- #### Layer Normalization (LayerNorm) 不同于 Batch Normalization 对整个批量上的统计数据进行规范化，Layer Normalization 则针对单一样本，在同一样本的不同维度或通道之间执行归一化过程。这种方法特别适合于 RNN 和 Transformer 结构中，因为它们往往依赖序列长度而非批处理数量。 PyTorch 的官方 API 定义为 `torch.nn.LayerNorm(normalized_shape, eps=1e-05, elementwise_affine=True)`[^3]。其中： - **normalized_shape**: 表示需要被归一化的最后一个维度或者多个连续维度； - **eps**: 防止除零错误的小数值，默认设置为 \(1 \times 10^{-5}\); - **elementwise_affine**: 如果为 True，则额外学习可缩放和平移变换参数 γ 和 β；如果为 False，则不引入新的自由度。 下面展示如何创建一个简单的 Layer Norm 并应用到实际场景当中去： ```python layer_norm_layer = nn.LayerNorm(normalized_shape=[784], eps=1e-6) # 或者指定更复杂的 shape 如 normalized_shape=(height,width) input_data = torch.rand((16, 784)) # 批量大小为16的一维向量作为例子 normed_output = layer_norm_layer(input_data) print(normed_output.size()) # 输出仍然是 [16, 784] ``` 此段脚本展示了当我们将原始未经过任何预处理的数据送入 Layer Norm 后得到的结果仍然保留原有结构特性的同时完成了必要的正则约束作用[^4]。 --- ### 总结对比 | 特性 | BatchNorm | LayerNorm | |---------------------|------------------------------------|-----------------------------------| | 数据范围 | 不同样本间 | 单一样本内 | | 应用领域 | CNN | RNN/Transformer | | 统计依据 | 整体mini-batch | 当前实例的所有元素 | 两种技术各有优劣，需根据具体的任务需求选取合适的方案加以运用。