### Add & Norm 层的具体实现和功能 Add & Norm 层是深度学习模型中一种常见的结构，通常用于 Transformer 架构中。它结合了残差连接（Residual Connection）和层归一化（Layer Normalization），以增强模型的训练稳定性和表示能力[^3]。 #### 功能 Add & Norm 层的主要功能包括： - **残差连接**：通过将输入直接加到输出上，缓解梯度消失问题，使深层网络更容易训练。 - **层归一化**：通过对每个样本的所有特征进行标准化，减少内部协变量偏移，加速模型收敛。 这种结构有助于模型在训练过程中保持数值稳定性，并允许堆叠更多的层以捕捉更复杂的模式和长距离依赖关系[^1]。 #### 具体实现步骤 以下是 Add & Norm 层的详细实现步骤： 1. **残差连接**：将子层（如自注意力层或前馈网络）的输出与输入相加。 2. **层归一化**：对相加后的结果进行层归一化处理。 代码示例如下： ```python import torch import torch.nn as nn class LayerNormalization(nn.Module): def __init__(self, normalized_shape, eps=1e-6): super(LayerNormalization, self).__init__() self.gamma = nn.Parameter(torch.ones(normalized_shape)) self.beta = nn.Parameter(torch.zeros(normalized_shape)) self.eps = eps def forward(self, x): mean = x.mean(-1, keepdim=True) std = x.std(-1, keepdim=True) return self.gamma * (x - mean) / (std + self.eps) + self.beta class AddAndNorm(nn.Module): def __init__(self, d_model, dropout=0.1): super(AddAndNorm, self).__init__() self.norm = LayerNormalization(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, sublayer): # 残差连接 residual = x output = sublayer(x) output = self.dropout(output) # 层归一化 return self.norm(residual + output) ``` 在此实现中： - `sublayer` 是一个函数或模块，表示需要应用残差连接和层归一化的子层（如 Multi-Head Attention 或 Feed-Forward Network）。 - `dropout` 用于防止过拟合，通过随机丢弃部分神经元来增强模型的泛化能力。 #### 在 Transformer 中的应用 在 Transformer 架构中，Add & Norm 层被广泛应用于每个编码器和解码器块中。具体而言，每个子层（如自注意力层和前馈网络）都通过 Add & Norm 层进行处理，以确保模型的稳定性和性能。 例如，在 Transformer 的解码器中，Marked Multi-Head Attention 操作之后也会使用 Add & Norm 层来进一步提升模型的表现[^2]。 ### 总结 Add & Norm 层通过结合残差连接和层归一化，显著提高了模型的训练效率和泛化能力。这种结构在 Transformer 等深度学习模型中发挥了重要作用，尤其是在处理序列数据时表现出色。