Pandas在数据预处理中进行数据去重有多种方法，以下是详细介绍及示例： ### 筛选指定字段存在重复的数据 可以利用`duplicated`方法筛选出指定字段存在重复的数据。示例代码如下： ```python import pandas as pd student_dict = {"name": ["Joe", "Nat", "Harry", "Nat"], "age": [20, 21, 19, 21], "marks": [85.10, 77.80, 91.54, 77.80]} # Create DataFrame from dict student_df = pd.DataFrame(student_dict) print(student_df) duplicated_task_df = student_df[student_df.duplicated(subset=["age"], keep=False)] print("duplicated_task_df:") print(duplicated_task_df) ``` 在上述代码中，通过`duplicated`方法找出`age`字段存在重复的数据，`keep=False`表示将所有重复行都标记为`True`。最后根据布尔索引筛选出这些重复行 [^1]。 ### 数据并列去重 使用`drop_duplicates`方法可以去除指定列组合下的重复行。示例代码如下： ```python import pandas as pd # 假设data是一个DataFrame # data = pd.read_csv('your_file.csv') # 这里省略读取数据的步骤，直接展示去重操作 # data.drop_duplicates(subset=['order_id', 'emp_id']).shape ``` 上述代码中，`subset=['order_id', 'emp_id']`表示根据`order_id`和`emp_id`这两列的组合来判断是否为重复行，最终返回去重后的`DataFrame`的形状 [^2]。 ### 特征重复处理（连续型特征） 结合相关的数学和统计学知识，去除连续型特征重复可以利用特征间的相似度将两个相似度为1的特征去除一个。在pandas中相似度的计算方法为`corr`，使用该方法计算相似度时，默认为“pearson”法 ，可以通过“method”参数调节，目前还支持“spearman”法和“kendall”法。示例代码如下： ```python import pandas as pd # 假设data是一个DataFrame # data = pd.read_csv('your_file.csv') # 这里省略读取数据的步骤，直接展示相关系数计算操作 correlation = data[['counts', 'amounts']].corr() print(correlation) ``` 在上述代码中，使用`corr`方法计算`counts`和`amounts`两列的相关系数矩阵。根据相关系数矩阵，若两列的相关系数为1，则可以考虑去除其中一列 [^2]。 ### keep参数的使用 `keep`有三种选择：`{'first', 'last', False}`，`first`和`last`分别对应选重复行中的第一行、最后一行，`False`是删除所有的重复值。示例代码如下： ```python import pandas as pd df = pd.DataFrame({'name': ['a', 'b', 'c', 'b', 'd']}) df_first = df.drop_duplicates(subset=['name'], keep='first') df_last = df.drop_duplicates(subset=['name'], keep='last') df_false = df.drop_duplicates(subset=['name'], keep=False) print("Keep first:") print(df_first) print("Keep last:") print(df_last) print("Keep false:") print(df_false) ``` 上述代码展示了`keep`参数不同取值时的去重效果 [^4]。