### 残差连接和层归一化的机制 #### 残差连接的作用 残差连接通过引入跳跃连接（skip connection），使得网络能够学习到输入与输出之间的差异部分，而非整个映射关系。这种设计允许梯度在反向传播过程中更直接地流动，从而缓解了深层神经网络中的梯度消失问题[^1]。具体而言，在前馈阶段，残差块计算如下： ```python import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels, out_channels): super(ResidualBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.relu = nn.ReLU() self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1) def forward(self, x): identity = x # Save input tensor for skip connection out = self.conv1(x) out = self.relu(out) out = self.conv2(out) out += identity # Add residual connection return out ``` 上述代码展示了如何实现一个简单的卷积残差块。通过将原始输入加回到经过变换后的张量上，模型可以更容易地训练更深的结构。 #### 层归一化的作用 层归一化是一种正则化技术，它通过对每一层的激活值进行标准化来稳定训练过程。相比于批量归一化（Batch Normalization），层归一化不依赖于批次大小，并且更适合处理序列数据或小型批处理场景。其核心思想是对每个样本单独操作，而不是跨多个样本来估计均值和方差。这有助于减少因数值范围过大而导致的梯度爆炸现象。 以下是PyTorch中实现的一个简单例子： ```python import torch.nn.functional as F def layer_norm(input_tensor, gamma, beta, eps=1e-5): mean = input_tensor.mean(-1, keepdim=True) std = input_tensor.std(-1, keepdim=True) normalized_input = (input_tensor - mean) / (std + eps) output = gamma * normalized_input + beta return output ``` 这里`gamma`和`beta`是用来缩放和平移已规范化特征的学习参数；`eps`是一个很小的数以防止除零错误。 综合来看，这两种方法共同作用可以帮助构建更加稳健的大规模深度学习架构。一方面，残差连接让信息绕过某些层传递下去，另一方面，层归一化确保每一步更新都处于合理范围内，两者相辅相成减少了优化难度并提高了收敛速度。