### 去除文件夹中的重复或高相似度图像 为了实现这一目标，可以采用基于哈希算法的方法来检测完全相同的图片，或者通过计算图像之间的感知哈希（pHash）或其他特征向量的距离来判断高度相似的图片。 以下是完整的解决方案： #### 方法概述 1. **完全相同图片的删除**：利用 MD5 或 SHA-256 等哈希函数生成每张图片的唯一指纹。如果两幅图具有相同的哈希值，则认为它们是完全相同的。 2. **高相似度图片的删除**：使用 pHash 或其他图像处理库（如 OpenCV），提取并比较两张图片的特征向量。当距离小于某个阈值时，视为高相似度图片。 --- #### 实现代码 以下是一个基于 Python 的脚本，用于删除指定目录下的重复或高相似度图片： ```python import os import cv2 import numpy as np from PIL import Image import hashlib from scipy.spatial.distance import hamming def calculate_image_hash(image_path, hash_size=8): """ 计算图像的感知哈希 (pHash) """ image = Image.open(image_path).convert('L').resize((hash_size, hash_size), Image.ANTIALIAS) pixels = np.array(image.getdata()).reshape(hash_size, hash_size) avg = pixels.mean() diff = pixels > avg return sum([2 ** i for (i, v) in enumerate(diff.flatten()) if v]) def get_md5(file_path): """ 获取文件的MD5哈希值 """ hasher = hashlib.md5() with open(file_path, 'rb') as f: buf = f.read() hasher.update(buf) return hasher.hexdigest() def remove_duplicates(directory, similarity_threshold=0.25): """ 删除目录下重复或高相似度的图片 """ image_hashes = {} duplicates = [] # 遍历目录获取所有图片路径 all_files = [os.path.join(directory, fname) for fname in os.listdir(directory)] image_files = [fpath for fpath in all_files if fpath.lower().endswith(('.png', '.jpg', '.jpeg'))] for img_file in image_files: try: md5_hash = get_md5(img_file) phash = calculate_image_hash(img_file) if md5_hash in image_hashes.values(): print(f"Duplicate found via MD5: {img_file}") duplicates.append(img_file) continue is_similar = False for existing_phash in image_hashes.keys(): distance = hamming(np.unpackbits(np.frombuffer(existing_phash.to_bytes(8, byteorder='big'), dtype=np.uint8)), np.unpackbits(np.frombuffer(phash.to_bytes(8, byteorder='big'), dtype=np.uint8))) if distance < similarity_threshold: print(f"Highly similar image detected: {img_file} vs {image_hashes[existing_phash]}") duplicates.append(img_file) is_similar = True break if not is_similar: image_hashes[phash] = md5_hash except Exception as e: print(f"Error processing {img_file}: {e}") # 删除找到的重复或高相似度图片 for dup in duplicates: os.remove(dup) print(f"Removed: {dup}") if __name__ == "__main__": target_directory = "./images" remove_duplicates(target_directory, similarity_threshold=0.25) ``` --- #### 关键点说明 1. **哈希碰撞风险**：虽然 MD5 和 pHash 是高效的工具，但在极少数情况下可能会发生误判。可以通过调整 `similarity_threshold` 参数进一步优化[^1]。 2. **性能考虑**：对于大规模数据集，建议分批次处理图片以减少内存占用。 3. **依赖项安装**： 使用前需确保已安装必要的库： ```bash pip install opencv-python-headless pillow scipy ``` --- #### 结果验证 运行上述脚本后，程序会自动扫描指定目录内的图片，并移除那些被判定为重复或高相似度的文件。最终保留下来的都是唯一的、差异较大的图片集合。 --- ###