在 Python 数据预处理中，异常值的检测与处理是确保数据质量的重要步骤。异常值可能对分析结果造成显著影响，因此需要采取合适的方法进行识别和处理。 ### 异常值的检测方法 1. **3σ准则（标准差法）** 该方法假设数据服从正态分布，根据均值和标准差来识别异常值。通常，若某个数据点距离均值超过 3 倍标准差，则认为其为异常值。 ```python import numpy as np import pandas as pd data = pd.Series(np.random.normal(0, 1, 100)) mean = np.mean(data) std = np.std(data) error = data[np.abs(data - mean) > 3 * std] ``` 2. **箱型图法（IQR 法）** 使用四分位数来识别异常值，通常将低于 Q1 - 1.5*IQR 或高于 Q3 + 1.5*IQR 的值视为异常值。 ```python Q1 = data.quantile(0.25) Q3 = data.quantile(0.75) IQR = Q3 - Q1 error_iqr = data[(data < (Q1 - 1.5 * IQR)) | (data > (Q3 + 1.5 * IQR))] ``` ### 异常值的处理方法 1. **删除异常值** 如果异常值数量较少，且对整体分析影响较大，可以选择删除这些数据点。 ```python data_c = data[(np.abs(data - mean) <= 3 * std)] ``` 2. **替换异常值** 可以使用均值、中位数或其他合理值替换异常值，以减少对模型的影响。 ```python replace_value = mean # 使用均值替换 data_replaced = data.copy() data_replaced[np.abs(data_replaced - mean) > 3 * std] = replace_value ``` 3. **截尾处理** 将超出一定范围的值截断到上限或下限。 ```python data_clipped = data.clip(Q1 - 1.5 * IQR, Q3 + 1.5 * IQR) ``` 4. **可视化检测** 可以通过绘制密度曲线或箱型图来直观观察异常值的位置。 ```python import matplotlib.pyplot as plt plt.figure(figsize=(10, 6)) plt.plot(data, 'k--', label='Data') plt.axhline(mean + 3 * std, color='r', linestyle='--', label='3σ Upper') plt.axhline(mean - 3 * std, color='g', linestyle='--', label='3σ Lower') plt.legend() plt.show() ``` ### 总结 异常值的检测和处理需要结合具体数据分布和业务背景来选择合适的方法。常用的检测方法包括 3σ 准则和箱型图法，处理方法包括删除、替换和截尾等。在实际应用中，应根据数据特性选择最合适的处理策略 [^1]。