### 使用Python对Excel (xlsx) 文件中的数据进行去重处理 #### 方法概述 可以通过 `pandas` 库实现对 Excel 文件中数据的去重操作。以下是具体实现方式及其说明。 --- #### 实现步骤详解 1. **导入必要的库** 需要先安装并导入 `pandas` 和 `openpyxl`（用于读写 `.xlsx` 文件）。如果尚未安装这些库，可通过以下命令安装： ```bash pip install pandas openpyxl ``` 2. **读取Excel文件** 利用 `pandas.read_excel()` 函数将 Excel 文件加载到 DataFrame 中。 3. **执行去重操作** 使用 `DataFrame.drop_duplicates()` 方法去除重复行。此方法允许基于所有列或特定列进行去重，并可以选择保留首次出现、最后出现或其他自定义策略。 4. **保存结果至新文件** 将去重后的 DataFrame 写回到一个新的 Excel 文件中，使用 `to_excel()` 方法完成。 --- #### 完整代码示例 ```python import pandas as pd # 1. 设置输入和输出文件路径 file_path = 'input_data.xlsx' # 输入文件路径 output_file_path = 'deduplicated_output.xlsx' # 输出文件路径 sheet_name = 'Sheet1' # 工作表名称 # 2. 读取Excel文件到DataFrame df = pd.read_excel(file_path, sheet_name=sheet_name) # 3. 执行去重操作 # 基于所有列去重，保留第一次出现的记录 df_deduplicated = df.drop_duplicates(keep='first') # 如果仅需根据某一列或多列去重，可以传递 subset 参数 # df_deduplicated = df.drop_duplicates(subset=['column_name'], keep='first') # 4. 将去重后的数据写回新的Excel文件 df_deduplicated.to_excel(output_file_path, index=False) # 不保存索引列 print(f"去重完成，已保存到文件：{output_file_path}") ``` --- #### 关键参数解释 - **`pd.read_excel()`**: - 参数 `file_path`: 指定待读取的 Excel 文件路径。 - 参数 `sheet_name`: 指定目标工作表名称或编号[^1]。 - **`drop_duplicates()`**: - 参数 `subset`: 指定参与判断重复的列名列表。如果不提供，则基于所有列判断重复。 - 参数 `keep`: 控制保留哪条重复记录，可选值为 `'first'`(默认)，`'last'` 或 `False`[^2]。 - 参数 `inplace`: 是否直接修改原 DataFrame。推荐单独存储结果以便后续验证。 - **`to_excel()`**: - 参数 `index`: 默认为 `True`，表示是否保存索引列；设为 `False` 可避免额外生成无意义的索引列[^3]。 --- #### 注意事项 - 若原始 Excel 文件较大，建议逐步测试以减少内存占用。 - 当存在多个工作表时，需分别对其逐一处理或将各表合并后再统一去重。 - 对于特殊字符编码问题，可在必要时指定 `encoding` 参数[^4]。 --- ###