在Python环境中本地部署YOLOv11并进行视觉识别训练，主要涉及环境配置、数据集准备、模型训练和推理验证四个核心环节。以下是详细的步骤指南和关键代码示例。 ### **一、环境配置与项目准备** 首先需要搭建包含PyTorch、Ultralytics等核心库的Python环境，并获取YOLOv11的官方代码。 ```python # 1. 创建并激活虚拟环境（推荐） conda create -n yolov11 python=3.9 conda activate yolov11 # 2. 安装PyTorch（根据CUDA版本选择，以CUDA 11.8为例） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安装Ultralytics YOLO库及必要依赖 pip install ultralytics opencv-python pillow matplotlib seaborn pandas ``` ```bash # 4. 获取YOLOv11代码（通过克隆Ultralytics仓库） git clone https://github.com/ultralytics/ultralytics.git cd ultralytics ``` ### **二、数据集准备与标注** YOLOv11要求数据集采用YOLO格式，即每个图像对应一个`.txt`标注文件。 #### **1. 数据集目录结构** ``` custom_dataset/ ├── images/ │ ├── train/ │ │ ├── image1.jpg │ │ └── ... │ └── val/ │ ├── image2.jpg │ └── ... └── labels/ ├── train/ │ ├── image1.txt │ └── ... └── val/ ├── image2.txt └── ... ``` * `images/train/` 和 `images/val/` 分别存放训练和验证图片。 * `labels/train/` 和 `labels/val/` 存放对应的YOLO格式标注文件 [ref_3]。 #### **2. YOLO标注文件格式** 每个`.txt`文件包含多行，每行代表一个边界框，格式为：`class_id x_center y_center width height`。所有坐标值均为相对于图像宽度和高度归一化后的值（0到1之间）。 例如，`image1.txt` 可能包含： ``` 0 0.5 0.5 0.3 0.4 1 0.2 0.7 0.15 0.2 ``` #### **3. 创建数据集配置文件** 创建一个YAML文件（如 `custom_data.yaml`）来定义数据集路径和类别信息。 ```yaml # custom_data.yaml path: /path/to/custom_dataset # 数据集根目录 train: images/train # 训练集图像相对路径 val: images/val # 验证集图像相对路径 test: # 测试集路径（可选） # 类别数量 nc: 2 # 根据你的任务修改，例如手势识别可能有18类 [ref_2] # 类别名称列表 names: ['class_0', 'class_1'] # 替换为你的实际类别名，例如 ['hand_open', 'hand_fist'] [ref_2] ``` ### **三、模型训练** 使用Ultralytics提供的简洁API进行训练，这是YOLOv11的核心优势之一 [ref_4]。 #### **1. 基础训练脚本** ```python from ultralytics import YOLO # 加载预训练模型（YOLOv11提供了不同尺寸的模型，如 yolov11n.pt, yolov11s.pt, yolov11m.pt, yolov11l.pt, yolov11x.pt） model = YOLO('yolov11n.pt') # 以nano版本为例，适合快速实验 # 开始训练 results = model.train( data='path/to/custom_data.yaml', # 上一步创建的数据集配置文件 epochs=100, # 训练轮数 imgsz=640, # 输入图像尺寸 batch=16, # 批次大小，根据GPU内存调整 device='0', # 指定GPU，如 '0' 或 '0,1'，'cpu'表示使用CPU workers=8, # 数据加载线程数 optimizer='AdamW', # 优化器，YOLOv11支持SGD、Adam、AdamW等 [ref_4] lr0=0.01, # 初始学习率 name='yolov11_custom_exp', # 实验名称，用于保存结果 pretrained=True, # 使用预训练权重 cache=True # 缓存数据集以加速训练 ) ``` #### **2. 关键训练参数说明** | 参数 | 说明 | 建议值/示例 | | :--- | :--- | :--- | | `data` | 数据集配置文件路径 | `'custom_data.yaml'` | | `epochs` | 训练总轮数 | 100-300 | | `imgsz` | 模型输入图像尺寸 | 640 | | `batch` | 批次大小 | 根据GPU显存调整，如16、32 | | `device` | 训练设备 | `'0'` (GPU 0), `'cpu'` | | `optimizer` | 优化器 | `'SGD'`, `'Adam'`, `'AdamW'` [ref_4] | | `lr0` | 初始学习率 | 0.01 (SGD), 0.001 (Adam) | | `patience` | 早停耐心值 | 50 (如果连续50轮验证指标无提升则停止) | | `save_period` | 保存检查点周期 | 10 (每10轮保存一次) | #### **3. 训练过程监控** 训练开始后，日志会输出到 `runs/detect/yolov11_custom_exp/` 目录。你可以： * 查看 `results.csv` 文件获取详细的指标数据。 * 使用TensorBoard可视化训练过程： ```bash tensorboard --logdir runs/detect/yolov11_custom_exp ``` ### **四、模型验证与推理预测** 训练完成后，使用最佳模型进行性能评估和预测。 #### **1. 在验证集上评估模型** ```python from ultralytics import YOLO # 加载训练得到的最佳模型（通常保存在 runs/detect/exp/weights/best.pt） model = YOLO('runs/detect/yolov11_custom_exp/weights/best.pt') # 在验证集上评估模型，获取mAP等指标 metrics = model.val( data='path/to/custom_data.yaml', imgsz=640, batch=32, conf=0.001, # 评估时使用的置信度阈值 iou=0.6 # NMS的IoU阈值 ) print(f"mAP50-95: {metrics.box.map}") # 打印mAP50-95指标 ``` #### **2. 对单张图像或视频进行预测** ```python from ultralytics import YOLO import cv2 # 加载模型 model = YOLO('runs/detect/yolov11_custom_exp/weights/best.pt') # 预测单张图片 results = model.predict( source='path/to/test_image.jpg', # 图片路径、摄像头ID（如0）、视频路径或URL conf=0.25, # 置信度阈值 iou=0.45, # NMS IoU阈值 imgsz=640, # 推理尺寸 show=True, # 显示结果 save=True, # 保存带标注的结果图像 save_txt=True # 将边界框保存为YOLO格式的txt文件 ) # 访问预测结果 for result in results: boxes = result.boxes.xyxy # 边界框坐标 (x1, y1, x2, y2) confs = result.boxes.conf # 置信度 class_ids = result.boxes.cls # 类别ID # 处理检测结果... ``` #### **3. 实时摄像头预测示例** ```python from ultralytics import YOLO import cv2 model = YOLO('best.pt') cap = cv2.VideoCapture(0) # 打开摄像头 while cap.isOpened(): ret, frame = cap.read() if not ret: break # 进行预测 results = model.predict(frame, imgsz=640, conf=0.5, verbose=False) # 在帧上绘制结果 annotated_frame = results[0].plot() # 显示结果 cv2.imshow('YOLOv11 Real-time Detection', annotated_frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` ### **五、模型导出与部署** 训练好的模型可以导出为多种格式，用于不同平台的部署 [ref_5]。 ```python from ultralytics import YOLO model = YOLO('best.pt') # 导出为ONNX格式（用于OpenVINO、TensorRT等推理引擎） model.export(format='onnx', imgsz=[640, 640], opset=12) # 导出为TensorRT引擎（需要CUDA环境） # model.export(format='engine', imgsz=[640, 640]) # 导出为OpenVINO IR格式 # model.export(format='openvino', imgsz=[640, 640]) ``` ### **六、常见问题与优化建议** 1. **显存不足 (CUDA out of memory)**：减小 `batch-size` 和 `imgsz`，或使用更小的模型变体（如 `yolov11n.pt`）。 2. **训练指标不提升**：检查数据集标注质量，尝试调整学习率 (`lr0`)，增加数据增强（如 `mosaic=1.0`, `mixup=0.5`），或使用更复杂的模型变体（如 `yolov11l.pt`）[ref_3]。 3. **过拟合**：增加数据增强强度，使用早停 (`patience`)，或在数据配置YAML中指定更多的验证数据。 4. **提升精度**：YOLOv11引入了新的Backbone设计和SPPF模块以优化特征提取，确保使用最新版本的Ultralytics库以获得这些改进 [ref_4]。 通过以上步骤，你可以在本地Python环境中完成YOLOv11从环境搭建、数据准备、模型训练到推理部署的完整视觉识别任务流程。其API设计高度统一且简洁，与YOLOv8等前代版本相似，降低了学习成本 [ref_6]。