### 如何在 PyTorch 中监控 humanoid-gym 环境下的奖励变化和波动 为了有效地监控 `humanoid-gym` 环境下奖励的变化和波动，在使用 PyTorch 进行强化学习实验时，可以通过集成日志记录工具来跟踪每次迭代中的奖励值。这有助于分析模型的学习进度及其稳定性。 #### 使用 TensorBoard 记录奖励数据 TensorBoard 是 TensorFlow 提供的一个可视化工具，但它同样适用于 PyTorch 项目。安装 tensorboard 及其 pytorch 绑定后，可以在训练循环内定期保存奖励信息至 SummaryWriter 实例中： ```python from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter('runs/humanoid_experiment') episode_rewards = [] for episode in range(num_episodes): state = env.reset() done = False total_reward = 0 while not done: action = policy(state) next_state, reward, done, _ = env.step(action) # 更新状态并累积奖励 state = next_state total_reward += reward writer.add_scalar('Reward per Episode', total_reward, global_step=episode) env.close() writer.flush() # 确保所有事件都被写入磁盘 ``` 上述代码片段展示了如何利用 `SummaryWriter` 对象将每轮次获得的总奖励存储起来以便后续查看[^3]。 #### 平滑处理奖励曲线 由于单个时间步上的即时反馈可能具有较大的随机性，因此建议计算移动平均线或其他形式的时间窗口统计量作为更稳定的性能指标。例如，可以维护一个固定长度的历史缓冲区用于平滑当前观测到的数据点： ```python import collections reward_buffer_size = 100 rewards_deque = collections.deque(maxlen=reward_buffer_size) # ... 在每个回合结束处加入新获取的回报 ... rewards_deque.append(total_reward) if len(rewards_deque) >= reward_buffer_size: avg_reward = sum(rewards_deque)/float(len(rewards_deque)) print(f'Episode {episode}: Average Reward over last {reward_buffer_size} episodes is {avg_reward:.2f}') else: print(f'Not enough data points yet ({len(rewards_deque)} out of required {reward_buffer_size})') # 将均值也发送给tensorboard writer.add_scalar('Average Reward (last N)', avg_reward, global_step=episode) ``` 这段脚本实现了简单的指数加权移动平均机制，并将其结果同步更新到了 TensorBoard 日志文件里。 通过以上方法设置好监视器之后，就可以方便地观察到随时间推移而产生的趋势图谱，从而更好地理解所开发的人形机器人控制系统的表现特性了。