### 3.1 使用 IQR 方法将异常值替换为 NaN 在数据预处理过程中，有时不希望直接删除包含异常值的记录，而是将异常值替换为 `NaN`，以便后续使用插值、填充等方法进行处理。可以基于 IQR（Interquartile Range）方法识别异常值，并将其替换为 `NaN`。 以下是一个基于 IQR 替换异常值为 `NaN` 的实现方式： ```python import pandas as pd import numpy as np # 示例数据集 data = pd.DataFrame({ 'A': np.random.normal(0, 1, 100), 'B': np.random.normal(5, 2, 100) }) # 添加异常值 data.loc[10, 'A'] = 10 data.loc[20, 'B'] = -15 # 定义函数将指定列的异常值替换为 NaN def replace_outliers_with_nan(df, column): q1 = df[column].quantile(0.25) q3 = df[column].quantile(0.75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr df[column] = df[column].mask((df[column] < lower_bound) | (df[column] > upper_bound)) return df # 对列 'A' 和 'B' 分别应用替换 data = replace_outliers_with_nan(data, 'A') data = replace_outliers_with_nan(data, 'B') print(data.isna().sum()) # 查看 NaN 数量 ``` 该方法通过 `mask` 函数将满足异常条件的值替换为 `NaN`，保留原始数据结构，便于后续处理[^1]。 ### 3.2 使用 Z-Score 方法将异常值替换为 NaN 除了 IQR 方法，也可以使用 Z-Score 方法识别异常值并替换为 `NaN`。Z-Score 表示数据点距离均值的标准差数，通常认为 Z-Score 绝对值大于 3 的数据点为异常值。 ```python # 定义函数将 Z-Score 异常值替换为 NaN def replace_outliers_with_nan_zscore(df, column, threshold=3): mean = df[column].mean() std = df[column].std() z_scores = (df[column] - mean) / std df[column] = df[column].mask(np.abs(z_scores) > threshold) return df # 对列 'A' 和 'B' 应用 Z-Score 替换 data = replace_outliers_with_nan_zscore(data, 'A') data = replace_outliers_with_nan_zscore(data, 'B') print(data.isna().sum()) ``` 该方法适用于数据近似正态分布的情况，能够有效识别偏离均值较大的异常值[^1]。 ### 3.3 其他处理方式 除了将异常值替换为 `NaN`，还可以根据业务需求选择其他处理策略，例如： - **删除记录**：直接删除包含异常值的行； - **填充异常值**：使用均值、中位数或插值法对 `NaN` 进行填充； - **保留异常值**：在某些场景下，异常值可能包含重要信息，可保留并用于模型训练。 在实际应用中，应结合数据分布特性选择合适的处理策略，以提升模型的鲁棒性和预测性能。 ---