在 Python 中，可以通过 `pandas` 和 `fuzzywuzzy` 库实现删除 Excel 文件中某列文字相似度高于 80% 的行。以下是具体实现方法： ### 使用 `pandas` 和 `fuzzywuzzy` 进行相似度比较并删除行 1. **安装必要的库** 确保已安装 `pandas` 和 `fuzzywuzzy` 库。可以通过以下命令进行安装： ```bash pip install pandas fuzzywuzzy openpyxl ``` 2. **实现代码** 以下代码示例展示了如何读取 Excel 文件，并对指定列进行模糊匹配，然后删除相似度高于 80% 的行： ```python import pandas as pd from fuzzywuzzy import fuzz # 读取Excel文件 file_path = 'example.xlsx' df = pd.read_excel(file_path) # 假设需要处理的列为 'column_name' column_name = 'Text' # 用于存储需要保留的行 rows_to_keep = [] # 遍历DataFrame中的每一行 for i, row in df.iterrows(): # 检查当前行与其他行的相似度 is_unique = True for j, other_row in df.iterrows(): if i != j and fuzz.ratio(row[column_name], other_row[column_name]) > 80: is_unique = False break if is_unique: rows_to_keep.append(row) # 创建新的DataFrame filtered_df = pd.DataFrame(rows_to_keep) # 保存到新的Excel文件 filtered_df.to_excel('filtered_example.xlsx', index=False) ``` 3. **代码解释** - `pandas` 用于读取和写入 Excel 文件。 - `fuzz.ratio()` 方法计算两个字符串之间的相似度，返回值范围为 0 到 100。 - 如果某行在指定列的文本与其他行的相似度高于 80%，则该行不会被保留。 4. **优化建议** - 如果数据量较大，上述双重循环可能导致性能问题。可以考虑使用 `itertools.combinations` 或 `numpy` 优化比较过程。 - 可以使用 `openpyxl` 或 `xlsxwriter` 替代 `pandas` 进行更复杂的 Excel 操作[^3]。 5. **注意事项** - 确保 Excel 文件的列名与代码中的 `column_name` 一致。 - 该方法适用于较小的数据集，若数据量较大，建议采用更高效的算法或分块处理。 ---