### 使用 PyTorch Autograd 完成自动求导和反向传播 #### 创建张量并启用梯度跟踪 为了使张量能够参与自动求导过程，需将其 `requires_grad` 属性设为 `True`。这使得所有对该张量执行的操作都将被记录下来以便后续进行梯度计算。 ```python import torch x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True) y = x * 2 z = y.sum() ``` 在此示例中，创建了一个名为 `x` 的张量，并设置了其 `requires_grad` 参数为真[^3]。接着定义了一些基于此张量的操作，最终得到一个新的标量变量 `z`。 #### 执行反向传播 一旦完成了前向传递并且得到了目标函数（通常是损失函数），就可以调用 `.backward()` 方法来进行反向传播，从而计算出各个输入参数相对于输出的变化率——即所谓的梯度。 ```python z.backward() print(x.grad) # 输出 [2., 2., 2.] 表明每个元素对 z 影响相同 ``` 当调用了 `z.backward()` 后，PyTorch 自动沿着之前构建好的计算图回溯每一步操作，直到找到最初指定要追踪梯度的那个或那些叶子节点为止。在这个过程中，它会根据链式法则逐步累积各层之间的偏微分值至相应位置上的 `.grad` 字段内[^4]。 #### 处理更复杂的网络结构 实际应用当中往往涉及到更加复杂的数据流转换逻辑，比如多层感知机或多维卷积神经网路等。此时同样可以依赖于 PyTorch 提供的强大工具集轻松处理： ```python class SimpleNet(torch.nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 = torch.nn.Linear(784, 500) self.relu = torch.nn.ReLU() self.fc2 = torch.nn.Linear(500, 10) def forward(self, x): out = self.fc1(x) out = self.relu(out) out = self.fc2(out) return out model = SimpleNet() criterion = torch.nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.01) input_data = torch.randn((64, 784), requires_grad=True) target_labels = torch.randint(low=0, high=9, size=(64,), dtype=torch.long) output = model(input_data) loss = criterion(output, target_labels) loss.backward() optimizer.step() ``` 上述代码片段展示了如何在一个简单的全连接分类器上实施完整的训练循环：从初始化模型架构、设定优化算法到最后一轮迭代结束后的权重更新都一应俱全。值得注意的是，在每次调用 `backward()` 前应当先清零现有梯度以防重复叠加错误信息；而这一点通常可以通过配置好合适的 Optimizer 实现自动化管理[^1]。