### 使用Python Pandas合并多个CSV文件并去重 在实际工程实践中，当需要处理大量CSV文件时，可以利用Python中的`pandas`库来高效完成这一任务。以下是具体实现方式： #### 方法概述 为了合并多个CSV文件并将其中的重复项移除，通常采用以下步骤： 1. 遍历目标目录获取所有CSV文件路径。 2. 利用`pandas`读取这些CSV文件的内容到DataFrame对象中。 3. 将所有的DataFrame组合成一个新的DataFrame。 4. 对最终的结果执行去重操作。 --- #### 实现代码示例 下面是一个完整的代码示例，展示如何使用`pandas`模块实现上述功能： ```python import pandas as pd import os def get_all_csv_files(directory): """ 获取指定目录下的所有 CSV 文件 """ csv_files = [] for root, dirs, files in os.walk(directory): for file in files: if file.endswith(".csv"): csv_files.append(os.path.join(root, file)) return csv_files # 设置工作目录 directory_path = "/path/to/csv/files" # 获取所有 CSV 文件路径 all_csv_files = get_all_csv_files(directory_path) # 创建一个空列表用于存储 DataFrame df_list = [] for file in all_csv_files: # 逐个读取 CSV 文件并加入列表 temp_df = pd.read_csv(file, encoding="utf-8") # 如果编码不同可调整为 gbk 或其他编码 df_list.append(temp_df) # 合并所有 DataFrame combined_df = pd.concat(df_list, ignore_index=True) # 忽略原始索引重新编号 # 去重操作 deduplicated_df = combined_df.drop_duplicates() # 输出结果至新的 CSV 文件 output_file = "merged_and_deduplicated.csv" deduplicated_df.to_csv(output_file, index=False, encoding="utf-8") print(f"已成功将 {len(all_csv_files)} 个 CSV 文件合并并去重，保存为 {output_file}") ``` 此代码片段实现了以下几个核心功能： - **遍历目录**：通过`os.walk()`函数找到所有CSV文件[^1]。 - **加载数据**：调用`pd.read_csv()`逐一加载CSV文件内容[^2]。 - **合并数据帧**：使用`pd.concat()`方法将多个DataFrame连接起来[^3]。 - **删除重复记录**：应用`.drop_duplicates()`方法清除冗余条目[^4]。 --- #### 注意事项 - 确保输入的CSV文件具有相同的结构（即列名一致），否则可能引发错误或意外结果。 - 若某些CSV文件存在不同的编码格式，则需适当修改`encoding`参数以适应具体情况。 - 当涉及大规模数据集时，建议分批次处理以免占用过多内存资源。 ---