### Layer Normalization 的概念 Layer Normalization (LN) 是一种用于深度学习模型中的归一化技术，旨在解决训练过程中内部协变量偏移的问题。与 Batch Normalization 不同的是，Layer Normalization 对每个样本单独计算均值和方差，并将其应用于该样本的所有特征上[^2]。 具体来说，在一个四维张量 `[minibatch, depth, height, width]` 中，Layer Normalization 沿着隐藏层的输出向量维度方向进行操作，即将 `depth`, `height`, 和 `width` 维度上的数据视为整体来进行标准化处理。 #### 数学定义 假设输入张量 \( X \in \mathbb{R}^{H \times W} \)，其中 \( H \) 表示高度，\( W \) 表示宽度，则 LN 计算如下： \[ \mu = \frac{1}{HW}\sum_{i=1}^{H}\sum_{j=1}^{W}X_{ij} \] \[ \sigma^2 = \frac{1}{HW}\sum_{i=1}^{H}\sum_{j=1}^{W}(X_{ij}-\mu)^2 \] 随后对每个元素应用以下变换： \[ Y_{ij} = \gamma \cdot \frac{X_{ij} - \mu}{\sqrt{\sigma^2+\epsilon}} + \beta \] 这里，\( \gamma \) 和 \( \beta \) 是可学习参数，分别表示缩放和平移因子；\( \epsilon \) 是一个小常数，防止除零错误。 ### 实现代码示例 以下是基于 PyTorch 的简单实现方式： ```python import torch import torch.nn as nn class LayerNorm(nn.Module): def __init__(self, normalized_shape, eps=1e-6): super(LayerNorm, self).__init__() self.gamma = nn.Parameter(torch.ones(normalized_shape)) self.beta = nn.Parameter(torch.zeros(normalized_shape)) self.eps = eps def forward(self, x): mean = x.mean(-1, keepdim=True) std = x.std(-1, keepdim=True) return self.gamma * (x - mean) / (std + self.eps) + self.beta ``` 上述代码中，`normalized_shape` 参数指定了要被规范化的目标形状，通常对应于最后一个维度大小。此模块可以像其他标准 PyTorch 层一样嵌入到神经网络架构之中[^4]。 ### 适用场景 由于其不依赖 mini-batch 大小的特点，Layer Normalization 特别适合那些 batch size 较小或者需要逐样本独立处理的任务，比如序列建模领域内的 RNN 或 Transformer 结构[^1]。 ---