### 使用 Pandas 检测并处理 DataFrame 中的重复行 在 Pandas 中，`duplicated()` 是一种非常强大的工具，用于检测 DataFrame 中的重复行。此方法会返回一个布尔 Series，其中每个值表示对应行是否为重复项[^1]。 #### 基础语法 `DataFrame.duplicated(subset=None, keep='first')` - **subset**: 可选参数，指定需要检查的列，默认为所有列。 - **keep**: 控制哪些重复值会被标记为 `True`： - `'first'`: 默认值，保留首次出现的记录，其余重复记录标记为 `True`[^5]。 - `'last'`: 仅最后一个副本保持为 `False`，其余标记为 `True`。 - `False`: 所有重复项均标记为 `True`。 --- #### 示例代码展示 以下是一个完整的例子，演示如何使用 `duplicated()` 方法检测和删除重复行： ```python import pandas as pd # 创建示例 DataFrame dict_data = {"a": list("abcdaf"), "b": list("abfccc"), "c": list("ghijgl")} df = pd.DataFrame.from_dict(dict_data) print("原始 DataFrame:") print(df) # 检查是否有重复行（默认全部列） is_duplicated_default = df.duplicated() print("\n默认条件下是否为重复行：") print(is_duplicated_default) # 按照特定列 ('b', 'c') 检查重复 is_duplicated_subset = df.duplicated(subset=["b", "c"], keep="first") print("\n按列 ['b', 'c'] 检查是否为重复行：") print(is_duplicated_subset) # 删除所有重复行（只保留首次出现的行） df_cleaned_first = df.drop_duplicates(keep="first") print("\n删除重复行后的 DataFrame (保留首个):") print(df_cleaned_first) # 删除所有重复行（只保留最后一次出现的行） df_cleaned_last = df.drop_duplicates(keep="last") print("\n删除重复行后的 DataFrame (保留最后):") print(df_cleaned_last) # 删除所有重复行（不保留任何重复项） df_cleaned_all = df.drop_duplicates(keep=False) print("\n完全移除所有重复行后的 DataFrame:") print(df_cleaned_all) ``` --- #### 输出解释 通过上述代码可以实现以下功能： 1. **检测重复行**：利用 `duplicated()` 返回布尔值列表，指示哪一行是重复的。 2. **基于子集检测**：通过传递 `subset` 参数，可以选择某些列来进行重复性分析。 3. **删除重复行**：结合 `drop_duplicates()` 方法清理数据框中的冗余信息。 --- #### 特殊情况说明 如果希望进一步了解某个具体条件下的重复行为，还可以结合 `.groupby()` 进行统计汇总。例如计算每组重复的数量[^3]： ```python duplicate_counts = df[df.duplicated()].groupby(list(df.columns)).size().reset_index(name="count") print(duplicate_counts) ``` 这将生成一张新表格，列出所有重复组合及其频率分布。 --- ### 总结 通过对 `duplicated()` 和 `drop_duplicates()` 的灵活应用，可以在实际项目中高效完成对数据质量控制的任务。无论是简单还是复杂的场景需求都能得到满足。