### 使用Python实现图片和文件的数据清洗 #### 图片数据清洗 对于图片数据的清洗，通常涉及去除损坏或不符合标准格式的图像文件。这可以通过读取图像并验证其完整性来完成。 ```python from PIL import Image import os def clean_images(directory): valid_formats = ('JPEG', 'PNG') for filename in os.listdir(directory): file_path = os.path.join(directory, filename) try: with Image.open(file_path) as img: if img.format not in valid_formats: print(f'Removing {filename} due to unsupported format.') os.remove(file_path) elif img.size[0] < 10 or img.size[1] < 10: # Check minimum size print(f'Removing {filename} because it is too small.') os.remove(file_path) except (IOError, SyntaxError) as e: print('Bad file:', filename) os.remove(file_path) clean_images('/path/to/image/directory') # Replace this path accordingly. ``` 这段代码展示了如何遍历指定目录中的所有文件，并尝试打开它们作为图像对象以检查其有效性[^1]。如果遇到无法解析的错误，则认为该图像是坏的；另外也过滤掉了尺寸过小以及不支持格式的图片。 #### 文件数据清洗 当涉及到一般类型的文件时，可能的任务包括删除重复项、修复编码问题或是清理特定格式的内容（比如CSV）。下面给出的是针对文本文件的一个简单例子： ```python import hashlib import shutil def remove_duplicate_files(src_dir, dst_dir): seen_hashes = set() for root, _, files in os.walk(src_dir): for name in files: src_file = os.path.join(root, name) hasher = hashlib.md5() with open(src_file, "rb") as f: buf = f.read() hasher.update(buf) hash_value = hasher.hexdigest() if hash_value not in seen_hashes: seen_hashes.add(hash_value) dest_file = os.path.join(dst_dir, name) shutil.copyfile(src_file, dest_file) print(f"Copied unique file '{name}'") else: print(f"Duplicate found and ignored: '{name}'") remove_duplicate_files("/source/path", "/destination/path") # Adjust paths here. ``` 此脚本会递归地扫描源文件夹及其子文件夹内的每一个文件，计算每个文件的MD5哈希值，并仅保留第一次出现的独特文件副本到目标位置[^2]。 此外，在处理像Excel这样的结构化文档时，还可以利用pandas库来进行更复杂的操作，例如填充缺失值、转换日期时间字段等[^3]。