### Python PyCharm YOLOv8 实现屏幕实时目标检测并控制鼠标 #### 功能概述 为了实现通过Python在PyCharm中利用YOLOv8进行屏幕实时目标检测，并将结果保存到文本文件，同时根据检测结果控制鼠标的移动以及设置快捷键来启动和停止操作，可以按照以下方法设计程序。 --- #### 主要模块与工具 1. **YOLOv8**: 使用 `ultralytics` 库中的 YOLOv8 模型进行目标检测。 2. **屏幕捕获**: 利用 `mss` 或 `PIL.ImageGrab` 获取屏幕截图作为模型输入。 3. **鼠标控制**: 调用 `pyautogui` 的核心函数如 `moveTo()` 和 `dragTo()` 来完成鼠标动作[^1]。 4. **快捷键监听**: 使用 `keyboard` 模块捕捉自定义的启动/停止快捷键。 5. **日志记录**: 将检测结果写入 `.txt` 文件以便后续分析。 --- #### 安装依赖库 以下是所需的主要依赖项及其安装命令： ```bash pip install ultralytics mss pyautogui keyboard ``` 如果使用 Conda 环境管理器，则可以通过配置显示通道 URL 加速包下载过程[^3]: ```bash conda config --set show_channel_urls yes ``` --- #### 代码实现 下面是一个完整的脚本示例，展示如何集成上述功能： ```python import time from PIL import Image import numpy as np import cv2 import pyautogui import keyboard from ultralytics import YOLO from mss import mss # 初始化变量 model = YOLO('yolov8n.pt') # 替换为你训练好的权重路径 sct = mss() output_file = 'detection_results.txt' is_running = False def capture_screen(): """截取全屏图像""" monitor = sct.monitors[1] screenshot = sct.grab(monitor) img = Image.frombytes('RGB', (screenshot.width, screenshot.height), screenshot.bgra, 'raw', 'BGRX') return np.array(img) def save_to_txt(results): """将检测结果保存到文本文件""" with open(output_file, 'a') as f: timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) result_str = ', '.join([f"{cls}: {conf:.2f}" for cls, conf in results]) f.write(f"[{timestamp}] Detected: {result_str}\n") def control_mouse(detections): """根据检测结果控制鼠标位置""" if detections: bbox = detections[0].boxes.xywh.cpu().numpy()[0] # 取第一个物体中心坐标 center_x, center_y = int(bbox[0]), int(bbox[1]) screen_width, screen_height = pyautogui.size() normalized_x = min(max(center_x / screen_width * 1920, 0), 1920) # 归一化处理 normalized_y = min(max(center_y / screen_height * 1080, 0), 1080) pyautogui.moveTo(normalized_x, normalized_y, duration=0.1) # 鼠标移动 def toggle_detection(state): """切换检测状态""" global is_running is_running = state status = "started" if state else "stopped" print(f"Detection has been {status}.") if __name__ == "__main__": # 设置热键 keyboard.add_hotkey('ctrl+shift+s', lambda: toggle_detection(True)) # 启动检测 keyboard.add_hotkey('ctrl+shift+x', lambda: toggle_detection(False)) # 停止检测 while True: if not is_running: time.sleep(0.1) continue try: frame = capture_screen() results = model(frame)[0] detected_objects = [] for r in results.boxes.data.tolist(): x1, y1, x2, y2, score, class_id = map(int, r[:6]) detected_objects.append((results.names[class_id], score)) save_to_txt(detected_objects) control_mouse(results) except Exception as e: print(f"Error occurred: {e}") finally: time.sleep(0.1) # 控制帧率 ``` --- #### 关键点说明 1. **屏幕捕获** 使用 `mss` 提供高效的多显示器支持，能够快速获取整个桌面的画面数据。随后将其转换为 NumPy 数组形式传递给 YOLOv8 进行推理。 2. **YOLOv8 推理** 加载预训练模型（例如 `'yolov8n.pt'`），并对每一帧执行预测操作。提取边界框信息用于进一步计算。 3. **鼠标控制逻辑** 根据检测对象的位置调整光标所在区域，确保平滑过渡效果的同时避免超出屏幕范围。 4. **快捷键绑定** 用户可通过按下组合键 (`Ctrl+Shift+S`) 开启监控模式或者按另一套按键序列 (`Ctrl+Shift+X`) 终止当前进程。 5. **异常处理机制** 添加基本错误保护措施防止因外部干扰中断运行流程。 --- #### 性能优化建议 - 如果发现性能瓶颈可尝试降低分辨率或减少刷新频率。 - 对于特定应用场景考虑裁剪感兴趣区域而非整幅画面送检以提升效率。 ---