### 使用Python检测并删除重复图像文件 #### 方法一：基于感知哈希算法(PHash) 为了高效地比较大量图片之间的相似度，可以采用PHash算法。该方法能够有效处理因压缩或轻微修改而产生的差异。 ```python import cv2 import numpy as np from PIL import Image def dhash(image, hash_size=8): """计算dhash值""" image = image.convert('L').resize((hash_size + 1, hash_size), Image.ANTIALIAS) pixels = list(image.getdata()) diff = [] for row in range(hash_size): for col in range(hash_size): left_pixel_index = row * (hash_size + 1) + col right_pixel_index = left_pixel_index + 1 diff.append(pixels[left_pixel_index] > pixels[right_pixel_index]) decimal_value = 0 hex_string = [] for index, value in enumerate(diff): if value: decimal_value += 2 ** (index % 8) if (index % 8) == 7: hex_string.append(hex(decimal_value)[2:].rjust(2, '0')) decimal_value = 0 return ''.join(hex_string) def is_image_similar(img_path_a, img_path_b, cutoff=2): """判断两张图是否相似""" hash_img_a = dhash(Image.open(img_path_a)) hash_img_b = dhash(Image.open(img_path_b)) difference = sum([bin(int(hash_img_a[i], base=16)^int(hash_img_b[i], base=16)).count("1") \ for i in range(len(hash_img_a))]) return difference <= cutoff images_folder = './your_images_directory/' # 替换成实际路径 image_files = ['img1.jpg', 'img2.png'] # 图片列表 for idx_a in range(len(image_files)): for idx_b in range(idx_a + 1, len(image_files)): file_a = images_folder + image_files[idx_a] file_b = images_folder + image_files[idx_b] if is_image_similar(file_a, file_b): print(f"{file_a} 和 {file_b} 是相同的") # 可在此处加入删除逻辑，例如 os.remove(file_b)，谨慎操作！ ``` 此代码片段实现了两个主要功能函数`dhash()`用于生成每张图片的哈希指纹；以及`is_image_similar()`用来对比两幅作品间的汉明距离来决定它们是不是实质上一样[^2]。 #### 方法二：利用平均哈希(Average Hash) 另一种常用的技术叫做均值散列（aHash），它同样适用于快速查找视觉上几乎一致的对象： ```python import imagehash from PIL import Image def get_average_hash(image_file, hash_size=8): """获取给定图片文件名对应的平均哈希码""" with Image.open(image_file) as img: avg_hash = str(imagehash.average_hash(img, hash_size)) return avg_hash # 假设有一个包含所有待查重照片绝对地址字符串组成的集合all_photos_set unique_hashes = set() duplicate_count = {} for photo in all_photos_set: current_hash = get_average_hash(photo) if current_hash not in unique_hashes: unique_hashes.add(current_hash) elif current_hash in duplicate_count.keys(): duplicate_count[current_hash].append(photo) else: duplicate_count[current_hash] = [photo] print("发现如下重复项:") for key,value in duplicate_count.items(): print(key,"->",value) ``` 上述脚本会遍历指定目录下的每一个项目，并记录下那些已经遇到过的散列值及其关联的照片位置。当再次遇见相同散列时，则将其视为副本并收集起来以便后续处理[^3]。