### 如何在 Pandas DataFrame 中使用 `drop_duplicates` 方法以及 `subset` 参数的作用 #### 函数概述 Pandas 提供了 `drop_duplicates()` 方法来帮助用户删除数据框中的重复行并返回一个新的对象。通过指定不同的参数，可以灵活控制哪些列参与比较以及如何去掉这些重复项。 #### `drop_duplicates` 的基本语法 以下是 `drop_duplicates` 的标准调用方式： ```python DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False) ``` - **`subset`**: 定义要检查重复性的特定列名或列表[^1]。如果未设置，则整个行会被视为整体进行比较。 - **`keep`**: 控制保留哪一部分的数据，默认值为 `'first'` 表示只保留第一次出现的记录；也可以设为 `'last'` 来保存最后一次出现的内容或者设定为 `False` 删除所有重复条目[^3]。 - **`inplace`**: 如果将其置为 True 则直接修改原始 DataFrame 而不是创建新副本[^5]。 - **`ignore_index`**: 是否忽略索引重新编号，默认不启用该项功能。 #### 关于 `subset` 参数的具体作用 当我们在大数据集中查找重复项时，并不一定需要考虑每一列都相同才算作一次重复。比如在一个销售记录表里可能只需要关注客户ID和购买日期两栏是否一致即可判断是否存在冗余信息而无需理会其他细节字段如具体商品名称等。这时就可以利用 `subset` 参数仅选取部分感兴趣的列来进行对比分析。 假设有一个简单的例子如下所示： | CustomerID | PurchaseDate | ProductName | |------------|--------------|-------------| | A | 2023/1/1 | Apple | | B | 2023/1/2 | Banana | | A | 2023/1/1 | Orange | 如果我们只想基于 `CustomerID` 和 `PurchaseDate` 进行查重而不是全部三列的话，那么可以通过下面的方式实现: ```python import pandas as pd data = { 'CustomerID': ['A', 'B', 'A'], 'PurchaseDate': ['2023/1/1', '2023/1/2', '2023/1/1'], 'ProductName': ['Apple', 'Banana', 'Orange'] } df = pd.DataFrame(data) unique_df = df.drop_duplicates(subset=['CustomerID', 'PurchaseDate'], keep='first') print(unique_df) ``` 运行上述代码之后将会得到这样的结果： | CustomerID | PurchaseDate | ProductName | |------------|--------------|-------------| | A | 2023/1/1 | Apple | | B | 2023/1/2 | Banana | 这里可以看到尽管第三个样本也属于顾客"A" 并且发生在同一日即 "2023/1/1",但由于我们设置了 `subset`,所以它不会被视作完全相同的实例从而得以保留下来. #### 实际应用场景举例说明 实际工作中经常会遇到由于各种原因导致数据库中存在大量重复数据的情况，这不仅浪费存储空间还会影响查询效率甚至误导决策者做出错误结论。因此掌握好如何高效准确地清除不必要的复制就显得尤为重要了。例如当我们从多个来源导入同一个实体的信息到单一表格内可能会引入一些无意间的拷贝件;又或者是某些ETL流程未能妥善处理历史遗留问题等等情形下都需要运用此类技术手段加以解决[^4]. ---