在 Python 的深度学习框架（如 PyTorch）中，状态参数通常指的是模型中可训练的权重和偏置等参数。这些参数的初始化和清零时机取决于具体的使用场景和操作方式。 1. **模型初始化时**：当定义一个神经网络模型时，通常会在 `__init__` 方法中声明各种层，例如卷积层、全连接层或批归一化层。这些层内部包含的状态参数（如权重和偏置）会在模型实例化时自动进行初始化。默认情况下，PyTorch 会根据每种层的类型采用默认的初始化方法，例如卷积层使用 Kaiming 初始化，线性层使用均匀分布初始化[^3]。 2. **手动初始化时**：可以通过自定义函数对模型参数进行显式初始化。例如，可以使用 `torch.nn.init` 模块中的方法对特定类型的层设置不同的初始化策略。以下是一个示例代码： ```python def initialize_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): torch.nn.init.xavier_normal_(m.weight.data) if m.bias is not None: torch.nn.init.constant_(m.bias.data, 0.3) elif isinstance(m, nn.Linear): torch.nn.init.normal_(m.weight.data, 0.1) if m.bias is not None: torch.nn.init.zeros_(m.bias.data) elif isinstance(m, nn.BatchNorm2d): m.weight.data.fill_(1) m.bias.data.zeros_() ``` 在此示例中，所有卷积层的权重通过 Xavier 正态分布初始化，偏置则被设置为 0.3；线性层的权重通过均值为 0.1 的正态分布初始化，偏置被设置为 0；批归一化层的权重填充为 1，偏置填充为 0 [^1]。 3. **优化器状态重置时**：在训练过程中，优化器（如 `torch.optim.Adam`）会维护与模型参数相关的内部状态（如动量）。如果需要重新开始训练或切换数据集，可以通过调用 `optimizer.state = defaultdict(dict)` 来手动清除优化器的内部状态。这将导致优化器在下一次迭代时重新初始化其状态参数。 4. **推理阶段**：在推理阶段，某些特殊层（如批归一化层）可能会维护运行时统计信息（如均值和方差）。这些统计信息通常不会在每次前向传播中被重置，而是累积更新。如果需要强制重置这些统计信息，可以通过手动操作来实现，例如： ```python for m in model.modules(): if isinstance(m, nn.BatchNorm2d): m.running_mean = torch.zeros_like(m.running_mean) m.running_var = torch.ones_like(m.running_var) ``` 5. **模型保存和加载时**：当使用 `torch.save()` 和 `torch.load()` 保存和加载模型时，状态参数（包括权重和偏置）会被完整保留。因此，在加载模型后，这些参数不会被重置为零，而是恢复到保存时的值 [^3]。 ###