### 如何在 Python 中进行线性回归时剔除异常值 在线性回归建模过程中，异常值可能会显著影响模型的性能和准确性。以下是几种常见的方法来识别并剔除这些异常值。 #### 使用 Z-Score 进行异常检测 Z-Score 是一种衡量某个数据点距离均值的标准差数目的指标。通常情况下，如果一个数据点的 Z-Score 超过了设定阈值（例如 ±3），则认为它是异常值[^2]。 ```python import numpy as np from scipy import stats def remove_outliers_z_score(data, threshold=3): z_scores = np.abs(stats.zscore(data)) filtered_data = data[(z_scores < threshold).all(axis=1)] return filtered_data ``` #### 利用 IQR (Interquartile Range) 方法 IQR 方法通过计算第一四分位数 (Q1) 和第三四分位数 (Q3)，定义正常范围为 `[Q1 - 1.5 * IQR, Q3 + 1.5 * IQR]`。超出此范围的数据被认为是异常值。 ```python def remove_outliers_iqr(df, column_name): Q1 = df[column_name].quantile(0.25) Q3 = df[column_name].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR filtered_df = df[(df[column_name] >= lower_bound) & (df[column_name] <= upper_bound)] return filtered_df ``` #### 结合线性回归模型预测异常值 另一种方式是利用简单的线性回归模型先拟合数据，再根据残差大小判断哪些样本属于异常值。较大的正态化残差可能表明该样本偏离了整体趋势[^3]。 ```python from sklearn.linear_model import LinearRegression def detect_and_remove_outliers_regression(X, y, threshold=3): model = LinearRegression() model.fit(X, y) predictions = model.predict(X) residuals = y - predictions std_residuals = residuals / np.std(residuals) mask = np.abs(std_residuals) < threshold X_cleaned = X[mask] y_cleaned = y[mask] return X_cleaned, y_cleaned ``` 以上三种方法各有优劣，在实际应用中可以根据具体需求选择合适的方式。值得注意的是，简单地移除所有疑似异常值可能导致信息丢失；因此建议结合领域知识谨慎操作[^4]。