<think>我们有两个主要任务：检测重复图片和删除重复图片之一。 根据引用[1]，我们可以使用PIL库和imagehash库来计算图片的哈希值（如平均哈希）。这种方法适合检测完全相同的图片或高度相似的图片（如果使用感知哈希）。 引用[2]使用了结构相似性（SSIM）来比较图片，但这种方法计算量较大，且主要用于检测相似度而非完全重复。 考虑到效率，我们选择哈希方法（如平均哈希、感知哈希）来检测重复图片。具体步骤如下： 1. 遍历文件夹，获取所有图片文件路径。 2. 读取每张图片，计算其哈希值（例如，使用imagehash库的average_hash或phash）。 3. 使用一个字典，键为哈希值，值为图片路径。当遇到相同哈希值时，说明图片重复，我们可以删除重复的图片（保留一个，删除其他）。 注意：如果图片数量很大，我们可能需要考虑性能优化（例如，先比较文件大小再计算哈希，或者使用多进程）。 但是，哈希方法可能无法检测到经过缩放、旋转或轻微修改的图片。如果用户需要检测这些，可以考虑使用更高级的方法（如特征匹配或深度学习），但根据问题，我们只关注完全重复或几乎相同的图片。 因此，我们采用以下步骤： 步骤1：导入必要的库（PIL的Image，imagehash，os） 步骤2：定义函数，输入为图片文件夹路径 步骤3：遍历文件夹，收集图片路径 步骤4：计算每个图片的哈希值，并存储到字典。如果遇到相同哈希值，则删除当前图片（或保留一个，删除其他） 步骤5：可以选择保留第一个出现的图片，删除后续重复的。 注意：由于哈希值可能冲突，但概率很低，对于一般用途足够。 代码实现如下： </think> # 使用Python检测并删除重复图片的方法 在图像处理和数据清洗中，检测并删除重复图片是常见需求。以下是使用Python实现此功能的完整方案： ## 完整解决方案 ### 方法1：基于图像哈希（推荐） ```python from PIL import Image import imagehash import os import shutil def remove_duplicate_images(folder_path): """检测并删除重复图片""" hash_dict = {} duplicates = [] # 遍历所有图片文件 for root, _, files in os.walk(folder_path): for file in files: if file.lower().endswith(('.jpg', '.jpeg', '.png')): img_path = os.path.join(root, file) try: # 计算图像哈希值 with Image.open(img_path) as img: hash_val = imagehash.average_hash(img) # 检查是否重复 if hash_val in hash_dict: duplicates.append(img_path) print(f"发现重复: {img_path} → 与 {hash_dict[hash_val]} 相同") os.remove(img_path) # 删除重复图片 else: hash_dict[hash_val] = img_path except Exception as e: print(f"无法处理 {img_path}: {str(e)}") print(f"\n完成! 共发现 {len(duplicates)} 个重复图片") return duplicates # 使用示例 remove_duplicate_images(r"D:\MyFile\ttt\RecoveredData") ``` ### 方法2：基于SSIM结构相似性（检测相似图片） ```python import cv2 import os import numpy as np from skimage.metrics import structural_similarity as ssim def find_similar_images(folder_path, threshold=0.95): """检测高度相似的图片""" img_paths = [] duplicates = [] # 收集所有图片路径 for root, _, files in os.walk(folder_path): for file in files: if file.lower().endswith(('.jpg', '.jpeg', '.png')): img_paths.append(os.path.join(root, file)) # 比较图片对 for i in range(len(img_paths)): if not os.path.exists(img_paths[i]): continue try: img1 = cv2.imread(img_paths[i]) if img1 is None: continue img1 = cv2.resize(img1, (128, 128)) # 统一尺寸 for j in range(i+1, len(img_paths)): if not os.path.exists(img_paths[j]): continue img2 = cv2.imread(img_paths[j]) if img2 is None: continue img2 = cv2.resize(img2, (128, 128)) # 计算结构相似性指数 similarity = ssim(img1, img2, multichannel=True) if similarity > threshold: duplicates.append((img_paths[i], img_paths[j], similarity)) os.remove(img_paths[j]) # 删除第二张图片 print(f"相似图片: {img_paths[i]} 和 {img_paths[j]} (相似度: {similarity:.4f})") except Exception as e: print(f"处理错误: {img_paths[i]}, {str(e)}") print(f"\n完成! 共发现 {len(duplicates)} 对相似图片") return duplicates # 使用示例 find_similar_images(r"D:\MyFile\ttt\RecoveredData") ``` ## 关键参数说明 1. **哈希方法**： - `average_hash`：快速检测完全相同的图片 - `phash`（感知哈希）：检测内容相同但格式不同的图片 - `dhash`：检测内容相同但大小不同的图片 2. **SSIM参数**： - `threshold=0.95`：相似度阈值（0-1），值越高要求越严格 - 调整`(128, 128)`尺寸可平衡精度与速度 ## 优化建议 1. **预处理**： ```python # 在比较前统一图像格式 img = img.convert('RGB') # 确保RGB模式 ``` 2. **文件大小过滤**： ```python # 跳过过小的图片（可能损坏） if os.path.getsize(img_path) < 1024: # 小于1KB continue ``` 3. **多进程加速**： ```python from concurrent.futures import ProcessPoolExecutor with ProcessPoolExecutor() as executor: results = executor.map(process_image, img_paths) ``` 4. **安全备份**： ```python # 删除前创建备份 backup_dir = os.path.join(folder_path, "backup") os.makedirs(backup_dir, exist_ok=True) shutil.copy(img_path, backup_dir) # 复制到备份目录 ``` ## 方法对比 | 方法 | 优点 | 缺点 | 适用场景 | |------|------|------|----------| | 图像哈希 | 速度快(约0.1秒/图) | 无法检测编辑过的图片 | 完全相同的图片 | | SSIM | 检测相似内容 | 速度慢(约1秒/对) | 不同格式/尺寸的相同内容 | | 文件哈希(MD5) | 极快 | 仅检测字节级相同文件 | 未修改的副本 | > **提示**：对于大型图库，建议先使用文件哈希快速过滤完全相同的文件，再用图像哈希检测内容相同但格式不同的图片[^1]。 ```mermaid graph TD A[开始] --> B[收集图片路径] B --> C{图片数量>1000?} C -->|是| D[使用文件哈希初筛] C -->|否| E[直接使用图像哈希] D --> F[保留唯一文件哈希] F --> E E --> G{需要检测相似内容?} G -->|是| H[使用SSIM算法] G -->|否| I[完成] H --> I ```