在处理特定范围内的异常值时，通常可以通过设定上下限阈值来识别并处理这些异常。例如，若数据的合理范围已知（如传感器读数应在某个物理范围内），则可以使用 NumPy 或 Pandas 来过滤或替换超出该范围的数据点。 ### 使用条件筛选和替换 假设你知道数据应处于某个范围内，例如 `[lower_bound, upper_bound]`，可以使用如下方式将超出此范围的值设为 `NaN`、均值、中位数或其他替代值： ```python import pandas as pd import numpy as np # 示例 DataFrame data = {'values': [1, 2, 3, 4, 5, 100]} df = pd.DataFrame(data) # 定义合理范围 lower_bound = 1 upper_bound = 10 # 替换异常值为 NaN df['values_cleaned'] = df['values'].apply(lambda x: x if lower_bound <= x <= upper_bound else np.nan) # 可选：用中位数填充 df['values_filled'] = df['values_cleaned'].fillna(df['values_cleaned'].median()) ``` ### 使用 `clip()` 方法限制值的范围 Pandas 提供了 `clip()` 方法，可以直接将数据限制在指定范围内： ```python # 将 values 列限制在 [1, 10] 范围内 df['values_clipped'] = df['values'].clip(lower=lower_bound, upper=upper_bound) ``` ### 结合 IQR 方法进行更智能的检测与修正 即使已知大致范围，也可以结合统计方法进一步优化异常值处理。例如基于四分位距（IQR）的方法： ```python Q1 = df['values'].quantile(0.25) Q3 = df['values'].quantile(0.75) IQR = Q3 - Q1 outlier_mask = (df['values'] < (Q1 - 1.5 * IQR)) | (df['values'] > (Q3 + 1.5 * IQR)) # 替换异常值 df.loc[outlier_mask, 'values'] = np.nan df['values_IQR_filled'] = df['values'].fillna(df['values'].median()) ``` 这种方法可以在已知范围的基础上，进一步识别可能被忽略的小异常或大异常[^3]。 ### 使用 Z-score 检测偏离均值较大的值 Z-score 是衡量某一点距离均值多少个标准差的指标，适用于近似正态分布的数据： ```python from scipy import stats z_scores = stats.zscore(df['values']) df['is_outlier'] = np.abs(z_scores) > 3 # 常见阈值为 3 # 替换 Z-score 异常值 df.loc[df['is_outlier'], 'values'] = np.nan df['values_zscore_filled'] = df['values'].fillna(df['values'].median()) ``` 这种方法在某些场景下比固定范围更具适应性，尤其是在数据分布随时间变化的情况下。 ---