### PyTorch 自动求导机制（Autograd）原理与使用 #### 工作原理概述 PyTorch 的 `autograd` 是一个用于自动求导的核心组件，它能够追踪张量上的所有操作并构建动态计算图。当执行前向传播时，所有的操作都会被记录下来形成一个计算图；而在反向传播阶段，`autograd` 利用链式法则沿着此计算图自动生成梯度[^1]。 #### 动态计算图的特点 与其他一些深度学习框架不同的是，PyTorch 使用的是 **动态计算图** 而非静态计算图。这意味着每次迭代期间重新定义整个计算过程，这使得调试更加直观灵活，并允许在运行时更改模型结构[^4]。 #### 关键属性：`requires_grad` 为了启用某个张量的自动求导功能，需将其 `requires_grad` 属性设置为 `True`。一旦设置了这一标志位，在后续任何涉及该张量的操作中都将开启跟踪模式，从而生成相应的梯度信息。例如： ```python import torch # 创建两个随机张量 a = torch.randn(3, 3) b = torch.randn(3, 3, requires_grad=True) # 执行加法运算 c = a + b print(c.requires_grad) # 输出 True，因为 c 继承了 b 的 requires_grad 特性 ``` 这里可以看到变量 `c` 的 `requires_grad` 值继承自参与运算的一个输入张量 `b`，即只要有一个输入启用了梯度计算，则输出也会同样具备这种能力。 #### 反向传播流程 完成正向传播后调用 `.backward()` 方法即可触发反向传播过程。此时会依据之前建立起来的计算链条逐层向上推算各参数对应的偏导数。需要注意的一点是只有标量才可以直接应用 backward 函数，如果是矢量或者矩阵形式的结果则需要指定 gradient 参数作为权重传入[^2]。 下面给出一段简单的线性回归案例演示如何利用 autograd 实现参数优化: ```python # 定义可训练参数 w 和 bias b w = torch.tensor([[1.], [1.]], dtype=torch.float32, requires_grad=True) b = torch.tensor([1.], dtype=torch.float32, requires_grad=True) def forward(x): return torch.mm(x, w) + b # 输入数据 X 和标签 y X = torch.tensor([[1., 2.], [3., 4.]]) y_true = torch.tensor([[3.], [7.]]) # 正向传播得到预测值 y_pred = forward(X) # 计算损失函数 MSE Loss loss = ((y_pred - y_true)**2).mean() # 清零之前的梯度累积 if w.grad is not None: w.grad.zero_() if b.grad is not None: b.grad.zero_() # 开始反向传播 loss.backward() ``` 在这个例子当中展示了完整的从初始化到最终获取梯度的过程，其中特别强调了手动清零现有梯度的重要性以防止单次更新残留影响下一轮迭代[^5]。 #### 高级特性——分离张量 有时候我们需要阻止某些特定部分参与到整体梯度流之中，这时就可以借助于 `.detach()` 或者 `with torch.no_grad():` 上下文管理器来达成目的。前者返回一个新的副本且其不再受制于原始对象的影响；后者则是临时关闭区域内的一切梯度记录行为[^4]。 ---