当处理大数据集时，效率和内存使用变得至关重要。Python 提供了几种方法来进行数据去重操作，并且针对大数据量有优化的方法可以选择。 ### 方法一： 使用 `set` `set` 是 Python 内置的一种无序不重复元素的数据类型，在小到中等规模的数据集中表现良好。它的内部实现是哈希表（Hash Table），因此查找、插入的时间复杂度理论上接近 O(1)。 ```python def deduplicate_with_set(data): return list(set(data)) ``` **优点**: 实现简单快速；适合中小规模数据； **缺点**: 不保持原有顺序；对于非常大的数据可能会导致内存不足错误，因为所有数据都会被加载进内存里创建 set 结构体. 如果要保留原始顺序，可以结合字典或有序集合： ```python from collections import OrderedDict def deduplicate_preserve_order_with_dict(data): # For python version >= 3.7, dict preserves insertion order by default. return list(dict.fromkeys(data)) # Or using ordered dictionary explicitly for compatibility with older versions of Python def deduplicate_preserve_order_with_ordereddict(data): return list(OrderedDict.fromkeys(data)) ``` 但是这些方法仍然会将整个数据集一次性载入内存中构建新的容器结构，面对巨大体量的数据集并不理想. ### 方法二： 分块读取与逐批写回文件系统 (适用于不能全部放入内存的情况) 当我们遇到无法直接装入内存的大文件或其他形式存储介质中的大量记录时，则需采用分步策略逐步完成任务而不必同时占用过多资源。例如可以通过以下步骤对 CSV 文件进行行级别上的唯一化: ```python import pandas as pd from pathlib import Path CHUNK_SIZE = 50000 # Adjust according to your system's memory capacity input_file_path = 'large_data.csv' output_dir = './unique_output/' Path(output_dir).mkdir(parents=True, exist_ok=True) seen_lines = set() for chunk in pd.read_csv(input_file_path, header=None, names=['line'], chunksize=CHUNK_SIZE): unique_chunk = [x[0] for x in chunk.itertuples(index=False) if not (x.line in seen_lines or seen_lines.add(x.line))] df_unique_chunk = pd.DataFrame(unique_chunk, columns=['line']) output_filename = f"{len(seen_lines)}.csv" df_unique_chunk.to_csv(Path(output_dir)/output_filename, index=False, mode='a', header=False) ``` 这种方法能够有效避免因单次尝试装载过大规模数据而导致程序崩溃的问题，同时也实现了较好的性能提升效果. 另外一种更高效的方式是在外部排序后合并过程中去除冗余项，比如Linux下的sort命令配合uniq即可轻松搞定这个问题。 #### 注意事项: - 如果你要去重的是复合对象而不是简单的字符串或者数字，请确保自定义了正确的hash 和 eq 操作符(__eq__ and __hash__)。 - 对于海量非文本型数据如图片视频音频等多媒体资料建议采取特征提取+近似匹配算法来判定相似度再进一步筛选删除重复条目。