### PyTorch 训练时保存包含环境参数的日志 在 PyTorch 的训练过程中，为了更好地记录实验过程并便于后续分析和复现，通常会将训练日志以及运行环境的相关信息一并保存到文件中。以下是实现这一功能的具体方式： #### 设置日志目录 首先需要指定一个用于存储所有结果的文件夹 `result_dir`，该文件夹可以用来存放模型参数、训练日志以及其他相关信息[^1]。 ```python import os # 定义结果存储路径 result_dir = "./results" os.makedirs(result_dir, exist_ok=True) # 创建具体的日志文件 train_log_path = os.path.join(result_dir, "training.log") env_log_path = os.path.join(result_dir, "environment.log") with open(train_log_path, 'w') as f_train: pass # 初始化日志文件 with open(env_log_path, 'w') as f_env: pass # 初始化环境日志文件 ``` #### 配置日志格式 通过定义日志字符串模板来控制日志的内容结构。例如，在训练阶段可以通过如下格式化字符串记录每轮迭代的信息: ```python train_log_txt_formatter = "{time_str} [Epoch] {epoch:03d} [Loss] {loss_str}\n" def write_training_log(epoch, loss_value): from datetime import datetime time_str = datetime.now().strftime("%Y-%m-%d %H:%M:%S") with open(train_log_path, 'a') as f: f.write(train_log_txt_formatter.format( time_str=time_str, epoch=epoch, loss_str=f"{loss_value:.4f}" )) ``` #### 记录环境参数 对于环境参数部分，建议记录以下内容以便于调试和复现实验： - Python 版本 - PyTorch 版本 - CUDA 和 GPU 设备信息 - 使用的随机数种子 (如果设置了的话)[^2] 具体代码如下所示: ```python import sys import torch from torch.utils.collect_env import get_pretty_env_info def record_environment(): env_info = get_pretty_env_info() # 添加额外的自定义信息 custom_info = [ f"Python Version: {sys.version}", f"PyTorch Version: {torch.__version__}", f"CUDA Available: {torch.cuda.is_available()}", f"GPU Count: {torch.cuda.device_count()}" if torch.cuda.is_available() else "", ] all_info = "\n".join(custom_info) + "\n\n" + env_info with open(env_log_path, 'w') as f: f.write(all_info) record_environment() ``` 上述代码利用了 PyTorch 提供的工具函数 `get_pretty_env_info()` 来获取详细的运行环境信息，并将其写入单独的环境日志文件中。 --- #### 总结 以上方法展示了如何在 PyTorch 中保存包含环境参数在内的完整日志体系。这不仅有助于跟踪每次实验的结果变化趋势，还能够方便地排查潜在问题或验证不同条件下算法的表现差异。 ---