### PyTorch 中梯度 `step`、`backward` 和 `zero_grad` 的具体实现机制 #### 1. 梯度清零 (`optimizer.zero_grad`) 的实现原理 在 PyTorch 中，`optimizer.zero_grad()` 的核心功能是将模型参数的梯度重置为零。这是因为在默认情况下，PyTorch 不会自动覆盖旧的梯度值，而是会对新旧梯度进行累加[^2]。 - 当调用 `optimizer.zero_grad()` 时，它实际上是对模型中的每一个可训练参数执行 `.grad.data.zero_()` 操作。 - 这一操作确保了每次新的反向传播不会受到之前批次数据的影响，从而避免梯度累积带来的潜在问题。 以下是具体的代码片段说明： ```python model = MyModel() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001) # 遍历每个 batch 数据 for inputs, labels in train_loader: optimizer.zero_grad() # 清除上次计算得到的梯度 outputs = model(inputs) # 前向传播 loss = criterion(outputs, labels) # 计算损失 ``` #### 2. 反向传播 (`loss.backward`) 的实现机制 `loss.backward()` 是 PyTorch 自动微分引擎的核心部分，用于基于链式法则计算整个计算图上的梯度[^1]。 - 在调用 `loss.backward()` 之后，PyTorch 会从指定的目标变量出发，沿着计算图逆序遍历所有的操作节点，并逐步计算各个中间变量相对于目标变量的偏导数。 - 对于任何设置为 `requires_grad=True` 的张量，都会在其内部维护一个 `.grad` 属性来存储相应的梯度值。 下面是简化版的工作流程描述： 1. 初始化所有需要记录梯度的张量的 `.grad` 字段为 None； 2. 开始递归地沿计算路径向上追溯并应用链式法则； 3. 将最终的结果存入对应位置处的 `.grad` 成员之中。 示例如下： ```python outputs = model(inputs) # 执行前向运算构建动态计算图 loss = criterion(outputs, labels)# 定义损失函数作为根结点 loss.backward() # 发起反传过程触发自动求导 ``` #### 3. 参数更新 (`optimizer.step`) 的工作方式 当完成了单次迭代内的正向传递以及误差信号反馈之后，下一步就是依据所选算法调整权重矩阵或其他待估参量的位置——这一步由 `optimizer.step()` 负责完成。 不同类型的优化器有着各自独特的更新规则；比如随机梯度下降(SGD)，仅需利用当前时刻观测到的方向信息即可做出改变决策；而对于更复杂的Adam或者RMSProp而言，则还需要额外考虑历史统计特性等因素共同决定步长大小与方向选择等问题。 典型SGD更新公式可以表示成这样子的形式： \[ w_{t+1} = w_t - \eta * g_t \] 其中 \(w\) 表达权值矢量序列,\(\eta\) 称作学习率超参数控制收敛速度,g代表即时估算出来的梯度向量. 实际编码体现如下： ```python optimizer.step() # 应用梯度更新模型参数 ``` --- ###