### 如何在 PyTorch 中应用余弦退火策略进行学习率调整 #### 使用 `torch.optim.lr_scheduler.CosineAnnealingLR` 调整学习率 PyTorch 提供了内置的学习率调度器 `CosineAnnealingLR`，用于实现余弦退火策略。该方法的核心在于通过周期性的余弦函数来动态调整优化器中的学习率，从而帮助模型更好地收敛并提升泛化能力。 以下是其主要参数说明： - **optimizer**: 需要传递给调度器的优化器实例。 - **T_max**: 半个余弦周期的长度（即单次完整的下降过程）。通常设置为整个训练过程中迭代次数的一部分[^2]。 - **eta_min**: 学习率的最小值，在余弦曲线最低点达到此值。 - **last_epoch**: 上一次完成的轮数，默认为 `-1` 表示从未调用过。 下面是一个简单的例子展示如何配置和使用它： ```python import torch from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingLR model = ... # 初始化您的模型 optimizer = SGD(model.parameters(), lr=0.1) scheduler = CosineAnnealingLR(optimizer, T_max=50, eta_min=0) # 假设总共有 50 步骤 for epoch in range(100): # 总共运行 100 个 epochs for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() scheduler.step() # 更新学习率每一轮结束后执行一次 ``` 上述代码片段展示了如何利用 `CosineAnnealingLR` 来管理训练期间的学习率变化情况[^2]。 #### 结合 Warm-Up 技术增强效果 为了进一步改善初始阶段可能存在的不稳定现象，可以引入 Warm-Up 方法作为补充手段之一。Warm-Up 的基本原理是在刚开始几轮训练里逐步增加学习率直到目标水平为止；之后再按照常规方式进行余弦衰减操作。这种方式能够有效缓解因过高初始速率引发的问题，并促进整体性能表现更优的结果呈现出来。 这里给出一段综合运用两者逻辑的实际编码示范： ```python import math import torch.nn.functional as F from torch.optim import AdamW def get_cosine_schedule_with_warmup(optimizer, num_warmup_steps, num_training_steps, last_epoch=-1): def lr_lambda(current_step): if current_step < num_warmup_steps: return float(current_step) / float(max(1, num_warmup_steps)) progress = float(current_step - num_warmup_steps) / float(max(1, num_training_steps - num_warmup_steps)) return max(0., 0.5 * (1. + math.cos(math.pi * progress))) return LambdaLR(optimizer, lr_lambda, last_epoch) # Example Usage: num_epochs = 20 steps_per_epoch = len(dataloader) total_steps = steps_per_epoch * num_epochs warmup_steps = int(total_steps * 0.1) optim = AdamW(net.parameters(), lr=initial_lr) scheduler = get_cosine_schedule_with_warmup(optim, warmup_steps, total_steps) for e in range(num_epochs): for i, data in enumerate(dataloader): ... optim.step() scheduler.step() ``` 以上脚本定义了一个自定义版的支持预热机制的余弦退火型学习率规划方案[^3]。 --- ### 问题