使用`pyautogui`结合其他库如`opencv-python`，可以高效地识别屏幕上的多张图片并执行相应操作。下面是一份详细的代码示例和解释说明，展示如何利用这两个强大的Python库来完成这项任务。 ### 准备阶段 - 安装所需库 确保已经安装了所需的软件包： ```bash pip install pyautogui opencv-python numpy pillow ``` 这四个库分别提供以下功能： - **PyAutoGUI**: 提供鼠标、键盘的操作控制能力。 - **OpenCV-Python (cv2)**: 强大的计算机视觉库，支持图像处理与分析。 - **NumPy**: 科学计算的基础工具，用于矩阵运算等。 - **Pillow (PIL)**: 图像读取及简单编辑的功能。 ### 核心函数定义 #### 加载模板图片列表 我们将创建一个函数`load_images()`来加载指定文件夹内所有的PNG/JPG格式的图片作为“模板”，然后将其转换成灰度模式，方便后续处理。 ```python import os import cv2 as cv from PIL import Image def load_images(template_folder): """Load all images from the given folder.""" image_paths = [os.path.join(template_folder, f) for f in os.listdir(template_folder) if any([f.lower().endswith(ext) for ext in ('.png', '.jpg')])] templates = [(cv.cvtColor(cv.imread(ipath), cv.COLOR_BGR2GRAY), ipath.split('/')[-1]) for ipath in image_paths] # Convert to grayscale and store with name. return dict(templates) ``` #### 匹配屏幕截图内的目标图片位置 接下来定义另一个关键函数`find_image_positions(screen_gray, template)`，它接收两个参数：一个是当前屏幕截图（已转为灰色），另一个是要查找的对象——即我们的模板之一。 ```python import numpy as np def find_image_positions(screen_gray, target_img): """Find positions of a single target within screen using Template Matching""" result = cv.matchTemplate(screen_gray, target_img, cv.TM_CCOEFF_NORMED) min_val, max_val, min_loc, top_left = cv.minMaxLoc(result) # 设置置信度阈值，默认0.8表示当匹配程度超过此值时认为找到了该图标 THRESHOLD = 0.8 locations = [] h, w = target_img.shape[:2] while True: _, maxVal, _, topLeft = cv.minMaxLoc(result) if maxVal < THRESHOLD: break bottomRight = (topLeft[0] + w, topLeft[1] + h) locations.append(topLeft) # 更新mask防止多次检测相同的区域 mask = np.zeros_like(result,dtype="uint8") cv.rectangle(mask,(max(0,topLeft[0]-w),(max(0,topLeft[1]-h)),(bottomRight[0]+w,bottomRight[1]+h)),255,-1,) result[mask==255]=0 return locations ``` #### 执行主循环 —— 查找所有图标的坐标信息 现在我们可以编写主程序部分，在其中遍历之前加载的所有模板，并调用上面提到的方法获取每个图标的中心点坐标。 ```python from PIL import ImageGrab import time def main(): start_time = time.time() template_dict = load_images("./images") # 替换成你存放模板的实际路径 screenshot = ImageGrab.grab() screen_np = np.array(screenshot.convert('RGB')) gray_screen = cv.cvtColor(screen_np, cv.COLOR_RGB2GRAY) detected_points = {} for tmpl_name, tmpl_data in template_dict.items(): found_locs = find_image_positions(gray_screen, tmpl_data) if found_locs: centers = [(x+w//2, y+h//2) for ((x,y),(_,_,w,h)) in zip(found_locs, [tmpl_data]*len(found_locs))] detected_points[tmpl_name[:-4]] = centers # 存储名称去掉后缀后的结果 end_time = time.time() print(f"Detection took {end_time-start_time:.2f} seconds.") return detected_points ``` 这段代码会返回字典形式的结果集，键为原始图片名字（去除`.png`或`.jpg`），对应的值则是一个包含若干坐标的元组列表，代表屏幕上每一个实例的具体位置。 --- 以上便是关于怎样用`pyautogui`配合`opencv`进行批量图片匹配的基本框架。当然可以根据具体应用场景调整细节设置比如模板相似度门槛等。