### LayerNorm 的作用及其归一化方法 #### 层归一化的定义与功能 层归一化（Layer Normalization, LayerNorm）是一种用于深度学习模型的正则化技术，其主要目的是通过对每一层的输出进行标准化处理来稳定数值分布[^1]。具体而言，LayerNorm 计算的是每个样本在其特征维度上的均值和方差，并基于这些统计量对数据进行缩放和平移操作。 #### 归一化过程详解 在 PyTorch 中，`nn.LayerNorm` 类实现了这一机制。对于给定的一组输入张量 \( X \)，假设形状为 \( (N, D) \)，其中 \( N \) 是批量大小，\( D \) 是特征维度，则 LayerNorm 的计算流程如下： 1. **计算均值** 首先，在每个样本内部沿着特征维度计算均值： \[ \mu = \frac{1}{D} \sum_{i=1}^{D} x_i \] 2. **计算标准差** 接着，同样针对每个样本沿特征维度计算未偏估计的标准差： \[ \sigma = \sqrt{\frac{1}{D} \sum_{i=1}^{D} (x_i - \mu)^2 + \epsilon} \] 这里加入了一个小常数 \( \epsilon \) 来防止除零错误[^2]。 3. **标准化** 使用上述均值和标准差对原始输入进行归一化： \[ y_i = \frac{x_i - \mu}{\sigma} \] 4. **引入可学习参数** 为了增强灵活性，LayerNorm 引入了两个可学习参数：尺度因子 \( \gamma \) 和偏置项 \( \beta \)，分别对应于权重矩阵和偏差向量。最终输出形式为： \[ z_i = \gamma \cdot y_i + \beta \] 此处 \( \gamma \) 和 \( \beta \) 初始化通常设置为全 1 和全 0 向量。 以下是利用 PyTorch 实现的一个简单例子展示如何应用 `nn.LayerNorm` 完成以上步骤： ```python import torch import torch.nn as nn # 构建 LayerNorm 模型实例 layer_norm = nn.LayerNorm(normalized_shape=10) # 创建随机输入张量 x = torch.randn(5, 10) # 批次大小为 5，特征维度为 10 # 将输入传递至 LayerNorm 并获取结果 output = layer_norm(x) print(output) ``` 此代码片段展示了创建一个具有指定规范化尺寸 (`normalized_shape`) 的 LayerNorm 对象的过程，并演示了当提供一批五维十列的数据作为输入时的操作效果[^2]。 #### 总结 相比于批归一化（Batch Normalization），LayerNorm 更加适合那些批次较小或者动态变化的任务场景，比如 RNN 及其变体结构中的时间步长序列分析任务。由于它独立地对待每一个单独样例而无需考虑整个 mini-batch 内部的关系特性，因此即使面对极端情况下的单一测试点也能正常运作[^1]。