### Python代码实现深度学习模型训练和推理时的资源监控 为了实时监测深度学习模型在训练和推理阶段的CPU、内存以及算力（如GPU利用率），可以利用`psutil`库来获取系统的硬件资源状态。以下是完整的解决方案： #### 安装依赖库 首先需要安装必要的库，可以通过以下命令完成： ```bash pip install psutil GPUtil ``` 其中，`GPUtil`用于更方便地获取GPU的相关信息。 --- #### 实现代码 下面提供了一个通用的Python脚本，该脚本可以在模型训练或推理期间定期记录CPU、内存和GPU的使用情况。 ```python import time import psutil from datetime import datetime try: import GPUtil except ImportError: GPUtil = None def get_cpu_usage(): """ 获取当前 CPU 使用率 """ return psutil.cpu_percent(interval=0.1) def get_memory_usage(): """ 获取当前内存使用率 """ memory_info = psutil.virtual_memory() return memory_info.percent def get_gpu_usage(): """ 如果 GPU 可用，则返回其使用率；否则返回None """ if GPUtil is not None and GPUtil.getAvailable(): gpus = GPUtil.getGPUs() gpu_loads = [gpu.load * 100 for gpu in gpus] # 将负载转换为百分比形式 return sum(gpu_loads) / len(gpu_loads) if gpu_loads else None return None def log_resource_usage(log_file="resource_log.txt"): """ 记录系统资源使用情况到指定日志文件 """ with open(log_file, "a") as f: timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S") cpu_usage = get_cpu_usage() mem_usage = get_memory_usage() gpu_usage = get_gpu_usage() f.write(f"[{timestamp}] CPU Usage: {cpu_usage:.2f}%, Memory Usage: {mem_usage:.2f}%\n") if gpu_usage is not None: f.write(f"[{timestamp}] GPU Usage: {gpu_usage:.2f}%\n") def monitor_resources(during_training=True, interval=5): """ 在模型训练或推理期间持续监控资源使用情况 参数: during_training (bool): 是否处于训练模式，默认True表示训练期。 interval (int): 日志记录的时间间隔（秒）。 """ try: print("开始监控系统资源...") while during_training: log_resource_usage() # 持续写入日志 time.sleep(interval) # 设置时间间隔 except KeyboardInterrupt: print("\n停止监控...") if __name__ == "__main__": # 启动资源监控器 monitor_resources(during_training=False, interval=2) ``` 此代码实现了以下几个功能： - **动态采集**：通过循环调用`log_resource_usage()`函数，在设定的时间间隔内不断收集资源使用数据[^3]。 - **日志存储**：将每次采样的结果保存至外部文本文件中以便后续分析。 - **跨平台兼容性**：无论是否有可用的GPU设备，都能正常运行并报告相应的统计信息。 --- ### 运行说明 当执行上述程序时，它会每隔一定时间段打印一次当前时刻下的CPU与RAM消耗比例，并且如果有NVIDIA显卡的话还会附加显示平均GPU占用水平。如果希望仅针对特定场景比如只看测试部分而非整个流程，则需调整参数`during_training`设为False即可。 ---