要在一堆文档中删除重复文件，可以借助Python编写脚本来完成这一任务。这里提供一种基于文件哈希值比较的方式来进行去重操作。 ### 步骤一：导入所需库 ```python import os import hashlib from collections import defaultdict ``` - `os`模块用于遍历目录结构以及获取文件信息； - `hashlib`用来生成每个文件独一无二的哈希摘要； - 使用`collections.defaultdict`方便地统计相同内容文件的数量及位置。 ### 步骤二：定义函数计算文件哈希值 我们可以选择SHA-256作为散列算法来保证较高的碰撞概率： ```python def calculate_hash(file_path): hasher = hashlib.sha256() try: with open(file_path, 'rb') as f: while chunk := f.read(8192): # 每次读取固定大小的数据块以提高效率并减少内存占用 hasher.update(chunk) return hasher.hexdigest() # 返回十六进制表示形式 except Exception as e: print(f"Error reading {file_path}: ", str(e)) return None ``` ### 步骤三：查找所有文件并构建映射表 接下来我们将递归扫描指定路径下的每一个文件，并将它们按其对应的哈希值分类存储起来: ```python def find_duplicate_files(root_folder): file_hashes = defaultdict(list) for dirpath, _, filenames in os.walk(root_folder): for filename in filenames: full_path = os.path.join(dirpath, filename) hash_value = calculate_hash(full_path) if hash_value is not None: file_hashes[hash_value].append(full_path) duplicates = {key: paths for key, paths in file_hashes.items() if len(paths)>1} return duplicates ``` 此时得到的结果是一个字典类型变量duplicates，其中键为唯一的哈希字符串而值则是一组或多组绝对路径列表指向那些拥有完全一致的内容但却分布在不同地方上的实际物理文件副本们。 ### 步骤四：移除多余拷贝保留单份实例 最后一步就是针对上述找到的所有重复项只保留下第一遇到的那个版本其它全部予以清除（当然你也可以根据需要自行调整策略比如随机挑选或者询问用户确认等） ```python for duplicate_list in duplicates.values(): for filepath_to_delete in duplicate_list[1:]: try: os.remove(filepath_to_delete) print(f'Deleted: {filepath_to_delete}') except OSError as ex: print("Error:",ex) print('清理完毕') ``` 以上就是一个简单的处理方案了。不过请注意，在运行前务必先做好备份工作以防误删重要资料哦！