### 使用Python实现文件夹内文件去重 为了有效处理指定文件夹中的重复文件，可以采用哈希算法对比文件内容。这种方法不仅能够识别名称相同的内容，还能发现不同名字但实际内容一致的情况。 #### 方法概述 通过计算每个文件的哈希值（如MD5），并将这些哈希值存储在一个字典里。如果遇到相同的哈希值，则认为两个文件是重复项。对于确认为副本的文件，可以选择保留其中一个并移除其他实例[^1]。 #### 实现方案 下面是一个完整的解决方案： ```python import hashlib import os def calculate_hash(file_path, block_size=65536): hasher = hashlib.md5() with open(file_path, 'rb') as f: buf = f.read(block_size) while len(buf) > 0: hasher.update(buf) buf = f.read(block_size) return hasher.hexdigest() def find_duplicates(directory): hashes = {} duplicates = [] for root, _, files in os.walk(directory): for filename in files: path = os.path.join(root, filename) file_hash = calculate_hash(path) if file_hash not in hashes: hashes[file_hash] = path else: duplicates.append(path) return duplicates def move_or_delete_duplicates(duplicates, action='move', target_folder='./duplicates'): """ 对于找到的重复文件执行移动或删除操作 :param duplicates: 需要处理的重复文件列表 :param action: 执行的操作 ('move' 或者 'delete') :param target_folder: 如果选择移动的话，目标文件夹的位置，默认当前目录下的'duplicates' """ if not os.path.exists(target_folder) and action == 'move': os.makedirs(target_folder) for dup_file in duplicates: base_name = os.path.basename(dup_file) if action == 'move': new_location = os.path.join(target_folder, base_name) try: os.rename(dup_file, new_location) print(f'Moved {dup_file} to {new_location}') except Exception as e: print(e) elif action == 'delete': try: os.remove(dup_file) print(f'Deleted {dup_file}') except Exception as e: print(e) if __name__ == '__main__': folder_to_clean = '/path/to/your/folder' found_dups = find_duplicates(folder_to_clean) # Choose between moving or deleting the duplicates. move_or_delete_duplicates(found_dups, action='move') ``` 此脚本首先遍历给定目录及其子目录中的所有文件，并利用`calculate_hash()`函数生成每份文档唯一的散列字符串表示形式；接着调用`find_duplicates()`查找潜在冗余条目集合；最后借助`move_or_delete_duplicates()`决定是要迁移还是彻底销毁那些多余的拷贝[^2]。