### Python 中异常值检测与处理 在数据分析过程中，异常值检测是一个重要的环节。通过识别并适当处理这些偏离正常范围的数据点，能够提高模型性能和分析准确性。 #### 使用 Pandas 和 SciPy 进行简单统计方法的异常值检测 对于数值型特征，可以基于箱线图原理（IQR法），即四分位距来进行异常值判断： ```python import pandas as pd from scipy import stats def detect_outliers_iqr(data, column): Q1 = data[column].quantile(0.25) Q3 = data[column].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR outliers = data[(data[column] < lower_bound) | (data[column] > upper_bound)] return outliers.index.tolist() # 创建样本 DataFrame df_sample = pd.DataFrame({ 'value': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 100] }) outlier_indices = detect_outliers_iqr(df_sample, 'value') print(f"Detected outlier indices: {outlier_indices}") ``` 此代码片段展示了如何利用四分位数间距(IQR)来定位潜在的异常值索引[^1]。 #### 基于 Z-Score 的异常值检测 另一种常见的做法是采用标准分数(Z-score)，它衡量的是某个观测值距离平均值有多少个标准差远: ```python def detect_outliers_zscore(data, column, threshold=3): z_scores = stats.zscore(data[column]) abs_z_scores = abs(z_scores) filtered_entries = abs_z_scores > threshold return list(filtered_entries[filtered_entries].index) z_score_outliers = detect_outliers_zscore(df_sample, 'value') print(f"Z-score detected outlier indices: {z_score_outliers}") ``` 这里定义了一个函数 `detect_outliers_zscore` 来计算给定列中的每个元素相对于整体分布的标准得分，并返回超过设定阈值的位置列表。 #### 移除重复项作为特殊类型的异常值处理 有时数据集中可能存在完全相同的记录，这也可以视为一种形式上的异常情况。移除非唯一条目有助于清理数据集: ```python cleaned_data = df.drop_duplicates() ``` 这段简单的命令可以帮助去除所有重复出现的数据行[^4]。