### Python 模型训练中断后继续训练的方法 对于模型训练过程中遇到的意外中断情况，无论是由于硬件资源不足还是其他原因导致，在恢复训练方面有不同的方法取决于所使用的框架。 #### 使用 Ultralytics YOLOv8 的检查点机制 当使用像Yolov8这样的特定库时，如果训练过程因内存不足等问题而突然终止，则可以通过设置保存检查点来实现从中断处继续训练的功能[^1]。具体来说，可以在配置文件或命令行参数中指定`--resume`选项指向最近一次成功保存的状态路径，从而让程序加载该状态并从此位置重新启动优化器和网络权重等组件的学习进度。 ```bash yolo train --resume path/to/checkpoint.pt ``` #### TensorFlow/Keras/PyTorch通用做法——利用检查点功能 针对更广泛的机器学习平台如TensorFlow、Keras或是PyTorch而言，通常会采用回调函数（Callback）的方式来进行周期性的模型存档工作。这允许用户即使面对突发状况也能安全地保留当前最佳性能版本，并且之后能够方便地读取这些快照以延续之前的工作流程[^2]。 - **TensorFlow & Keras** 通过定义ModelCheckpoint类实例作为fit()方法的一部分传入，可自动处理上述需求： ```python from tensorflow.keras.callbacks import ModelCheckpoint checkpoint_callback = ModelCheckpoint( filepath='path_to_save_weights.{epoch:02d}-{val_loss:.2f}.hdf5', save_best_only=True, monitor='val_accuracy' ) model.fit(x_train, y_train, epochs=epochs_num, callbacks=[checkpoint_callback]) ``` - **PyTorch** 同样地，在循环内部加入torch.save语句即可完成相似的任务；而在重启脚本前则需先尝试加载已存在的.pth文件： ```python import torch for epoch in range(start_epoch, num_epochs): ... if (epoch + 1) % checkpoint_interval == 0: state_dict = { 'state_dict': model.state_dict(), 'optimizer' : optimizer.state_dict() } torch.save(state_dict, f'model_checkpoint_{epoch+1}.pth') ```