在Transformer中选择Layer Normalization（LN）而非Batch Normalization（BN）主要有以下原因： ### 序列长度可变 Transformer最初作为sequence to sequence模型提出，序列长度可能是不确定的。Batch Normalization需要在一个batch内计算统计量（均值和方差），序列长度的变化会使得BN在计算这些统计量时变得复杂，甚至难以有效应用。而Layer Normalization是对单个样本的一层内的所有神经元进行归一化，不依赖于序列长度和batch大小，能够更好地适应序列长度可变的情况[^3]。 ### 小批量或在线学习场景优势 在实际应用中，Transformer可能会面临小批量数据或者在线学习的情况。Batch Normalization在小批量数据下计算的均值和方差可能不稳定，从而影响模型的训练效果。而Layer Normalization不依赖于整个batch的数据，计算过程相对独立，在小批量或在线学习场景下具有更好的稳定性和训练速度表现[^2]。 ### 训练和推理的一致性 Batch Normalization在训练和推理阶段的行为有所不同。在训练阶段，BN会计算当前batch的均值和方差，并使用移动平均法更新全局的统计量；在推理阶段，则使用训练阶段得到的全局统计量。这就需要在代码中进行额外的处理来区分训练和推理模式。而Layer Normalization不会像Batch Normalization那样跟踪统计全局的均值方差，因此train()和eval()对Layer Normalization没有影响，训练和推理阶段的行为一致，简化了模型的实现和使用过程[^4]。 ### 模型架构的特点 Transformer的架构中，多头注意力机制和前馈神经网络层在处理每个样本时是相对独立的。Layer Normalization更符合这种独立性，能够在每个样本内部进行有效的归一化，使得模型在处理不同样本时更加稳定。而Batch Normalization是基于batch内的统计信息进行归一化，可能会破坏这种样本内部的独立性，影响模型的性能[^2]。 ```python import torch import torch.nn as nn # 示例：在Transformer中使用Layer Normalization class TransformerLayer(nn.Module): def __init__(self, d_model): super(TransformerLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, num_heads=8) self.feed_forward = nn.Sequential( nn.Linear(d_model, 2048), nn.ReLU(), nn.Linear(2048, d_model) ) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) def forward(self, src): attn_output, _ = self.self_attn(src, src, src) src = self.norm1(src + attn_output) ff_output = self.feed_forward(src) src = self.norm2(src + ff_output) return src ```