### PyTorch 中更新学习率的方法 在 PyTorch 中，`torch.optim.lr_scheduler` 提供了多种方法来动态调整优化器的学习率。这些调度器可以根据训练过程中的特定条件自动改变学习率，从而提高模型性能。 #### 使用 `lr_scheduler` 的基本流程 通常情况下，在每次完成一个 epoch 后调用 `scheduler.step()` 来更新学习率[^2]。以下是标准的实现方式： ```python import torch from torch import optim from torch.optim import lr_scheduler # 定义优化器 optimizer = optim.SGD(model.parameters(), lr=0.1) # 创建学习率调度器 scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(100): train(...) # 训练逻辑 validate(...) # 验证逻辑 # 更新学习率 scheduler.step() ``` 上述代码展示了如何通过 `StepLR` 调度器每隔固定步数降低学习率。 --- #### 不同类型的 `lr_scheduler` ##### 1. **StepLR** `StepLR` 可以按固定的间隔逐步减少学习率。例如，每经过一定数量的 epochs 就乘上一个衰减因子 `gamma`。 ```python scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) ``` - 当前 epoch 数满足 `step_size * k` (k 为正整数) 时，学习率会变为原来的 `gamma` 倍。 --- ##### 2. **MultiStepLR** 如果希望在某些指定的 epoch 上触发学习率下降，则可以使用 `MultiStepLR`[^3]。 ```python scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[30, 80], gamma=0.1) ``` - 如果当前 epoch 属于 `milestones` 列表之一，那么学习率会被乘以 `gamma`。 --- ##### 3. **ExponentialLR** 指数级地减少学习率，适合需要平滑递减的情况。 ```python scheduler = lr_scheduler.ExponentialLR(optimizer, gamma=0.95) ``` - 每次调用 `scheduler.step()` 时，学习率都会被乘以 `gamma`。 --- ##### 4. **CosineAnnealingLR** 基于余弦函数周期性地调整学习率，有助于跳出局部最优解。 ```python scheduler = lr_scheduler.CosineAnnealingLR(optimizer, T_max=50, eta_min=0) ``` - 参数 `T_max` 表示半周期长度；`eta_min` 是最小学习率。 --- ##### 5. **ReduceLROnPlateau** 当监控指标（如验证集损失）不再改善时，动态降低学习率。 ```python scheduler = lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10) ``` - 若目标值未改进超过设定的耐心期 (`patience`)，则将学习率乘以 `factor`。 --- ##### 6. **ChainedScheduler 和 SequentialLR** 对于更复杂的场景，可以通过组合多个调度器实现自定义行为。 - **ChainedScheduler**: 连续应用多个调度器的效果[^1]。 - **SequentialLR**: 按照预定顺序依次切换不同的调度器。 ```python scheduler1 = lr_scheduler.StepLR(optimizer, step_size=25, gamma=0.1) scheduler2 = lr_scheduler.ConstantLR(optimizer, factor=1.0, total_iters=10) chained_scheduler = lr_scheduler.ChainedScheduler([scheduler1, scheduler2]) sequential_scheduler = lr_scheduler.SequentialLR(optimizer, schedulers=[scheduler1, scheduler2], milestones=[50]) for epoch in range(100): train(...) chained_scheduler.step() # 或 sequential_scheduler.step() ``` --- ### 总结 PyTorch 提供了丰富的学习率调度工具，开发者可根据具体需求选择合适的方案。无论是简单的线性衰减还是复杂的行为链式操作，都可以轻松配置并集成到训练循环中。