在 Jupyter Notebook 中进行数据清洗是数据分析流程中的关键步骤，通常包括删除缺失值、重复值和处理异常值。以下是对这些操作的详细说明及示例代码： ### 删除缺失值 Pandas 提供了多种方法来处理缺失值（NaN）。最常用的方法是 `dropna()`，它可以直接删除包含缺失值的行或列。 ```python import pandas as pd # 假设 data 是一个已经加载的 DataFrame # 检查缺失值 missing_values = data.isnull().sum() print("缺失值统计：") print(missing_values) # 删除包含缺失值的行 data_cleaned = data.dropna() # 如果需要删除包含缺失值的列，可以使用 axis=1 data_cleaned_by_columns = data.dropna(axis=1) ``` ### 删除重复值 为了确保数据集的唯一性，常常需要删除重复的行。`drop_duplicates()` 方法可以根据所有列或指定列来识别并删除重复项。 ```python # 检测重复值 duplicates = data.duplicated() print("重复值检测：") print(duplicates) # 删除所有重复的行 data_unique = data.drop_duplicates() # 如果只想根据特定列（如 'k1'）来判断重复项，可以使用 subset 参数 data_unique_by_column = data.drop_duplicates(subset=["k1"]) ``` ### 处理异常值 异常值是指那些与其他观测值显著不同的数据点。它们可能是由于测量误差或其他原因造成的。处理异常值的方法包括删除、替换或者使用统计方法进行修正。 #### 使用 Z-Score 方法检测并删除异常值 Z-Score 是一种常用的标准化方法，用于衡量某个数据点与其平均值之间的标准差数。如果一个数据点的 Z-Score 绝对值大于某个阈值（例如 3），则认为它是异常值。 ```python from scipy import stats import numpy as np # 计算每列的 Z-Score z_scores = np.abs(stats.zscore(data.select_dtypes(include=np.number))) # 定义阈值为 3，并筛选出非异常值的行 threshold = 3 filtered_entries = (z_scores < threshold).all(axis=1) # 创建一个新的 DataFrame，排除异常值 data_no_outliers = data[filtered_entries] ``` #### 使用 IQR 方法检测并删除异常值 IQR（Interquartile Range）是另一种常见的方法，用于识别异常值。IQR 是上四分位数（Q3）与下四分位数（Q1）之间的差值。任何低于 Q1 - 1.5 * IQR 或高于 Q3 + 1.5 * IQR 的值都被视为异常值。 ```python # 对数值型列应用 IQR 方法 Q1 = data.select_dtypes(include=np.number).quantile(0.25) Q3 = data.select_dtypes(include=np.number).quantile(0.75) IQR = Q3 - Q1 # 筛选出不在 [Q1 - 1.5*IQR, Q3 + 1.5*IQR] 范围内的数据 outlier_condition = ~((data.select_dtypes(include=np.number) < (Q1 - 1.5 * IQR)) | (data.select_dtypes(include=np.number) > (Q3 + 1.5 * IQR))).any(axis=1) # 创建不包含异常值的新 DataFrame data_no_outliers_iqr = data[outlier_condition] ``` ### 总结 - **缺失值**：可以通过 `dropna()` 删除含有缺失值的行或列。 - **重复值**：使用 `drop_duplicates()` 可以删除重复的行，也可以通过 `subset` 参数指定特定列。 - **异常值**：可以使用 Z-Score 或 IQR 方法来识别和删除异常值[^1]。 这些方法可以在 Jupyter Notebook 中灵活组合使用，以满足不同数据清洗的需求。