### Python 中检测和处理异常值的方法 #### 检测异常值 在数据分析过程中，异常值的检测是一个重要的环节。以下是几种常见的异常值检测方法： 1. **3σ 准则** 基于正态分布假设，超过均值 ± 3倍标准差的数据点被认为是异常值。这种方法适用于近似服从正态分布的数据集[^2]。具体实现可以通过计算数据的标准差并筛选超出范围的值来完成。 ```python import numpy as np data = df['value'] mean = np.mean(data) std_dev = np.std(data) lower_bound = mean - 3 * std_dev upper_bound = mean + 3 * std_dev outliers_3sigma = data[(data < lower_bound) | (data > upper_bound)] ``` 2. **箱型图法（IQR 法）** 利用四分位数间距（Interquartile Range, IQR），定义下界 Q1 - 1.5*IQR 和上界 Q3 + 1.5*IQR 来识别异常值。此方法不依赖于数据的具体分布形式。 ```python q1 = data.quantile(0.25) q3 = data.quantile(0.75) iqr = q3 - q1 lower_bound_iqr = q1 - 1.5 * iqr upper_bound_iqr = q3 + 1.5 * iqr outliers_iqr = data[(data < lower_bound_iqr) | (data > upper_bound_iqr)] ``` #### 处理异常值 一旦检测到异常值，可以采取不同的策略对其进行处理，这些策略的选择应基于具体的业务场景和需求[^3]。 1. **删除异常值** 如果认为异常值是由错误输入或其他不可信因素引起的，则可以选择将其从数据集中移除。`pandas` 提供了 `drop()` 方法用于删除指定索引对应的行或列。 ```python filtered_data_drop = df.drop(outliers_3sigma.index, axis=0) ``` 2. **替换异常值** 可以将异常值替换成其他合理的数值，比如平均值、中位数或者边界值等。这通常通过 `replace()` 或者直接赋值操作完成。 ```python median_value = data.median() corrected_data_replace = data.copy() corrected_data_replace[outliers_3sigma.index] = median_value ``` 3. **保留异常值不做任何修改** 当不确定某些极端值是否真的属于噪声时，可能需要暂时保持它们的存在以便进一步验证其合理性。 --- ### 综合示例代码 下面提供了一个综合应用上述两种常见检测方式以及简单处理逻辑的例子： ```python import pandas as pd import numpy as np # 创建样本 DataFrame np.random.seed(42) df = pd.DataFrame({'value': np.random.normal(loc=50, scale=10, size=100)}) df.loc[95, 'value'] = 200 # 添加人工异常值 # 计算统计量 mean = df['value'].mean() std_dev = df['value'].std() q1 = df['value'].quantile(0.25) q3 = df['value'].quantile(0.75) iqr = q3 - q1 lower_bound_3sigma = mean - 3 * std_dev upper_bound_3sigma = mean + 3 * std_dev lower_bound_iqr = q1 - 1.5 * iqr upper_bound_iqr = q3 + 1.5 * iqr # 找出异常值 outliers_3sigma = df[(df['value'] < lower_bound_3sigma) | (df['value'] > upper_bound_3sigma)] outliers_iqr = df[(df['value'] < lower_bound_iqr) | (df['value'] > upper_bound_iqr)] print("Outliers by 3σ:", outliers_3sigma) print("Outliers by IQR:", outliers_iqr) # 替换异常值为中位数 median_val = df['value'].median() df_cleaned = df.copy() for idx in outliers_3sigma.index.union(outliers_iqr.index): df_cleaned.at[idx, 'value'] = median_val print("Cleaned Data:\n", df_cleaned.head()) ```