### Sklearn Imputer 和 Pandas 缺失值处理方法 #### 1. **Sklearn 中的 `Imputer`** 在较旧版本的 Scikit-Learn（如 0.20 及以下），可以使用 `Imputer` 来处理缺失值。然而，在新版本中，`Imputer` 已被废弃，取而代之的是更灵活的 `SimpleImputer`。 如果需要安装特定版本的 Scikit-Learn，则可以通过以下命令完成： ```bash pip install scikit-learn==0.20.0 ``` 对于旧版中的 `Imputer` 使用方式如下： ```python from sklearn.preprocessing import Imputer import numpy as np # 创建一个 Imputer 实例，策略为 median (中位数) imputer = Imputer(strategy="median", missing_values=np.nan) # 假设有一个带有缺失值的数据集 df df = np.array([[np.nan, 2], [6, np.nan], [7, 6]]) # 对数据拟合并转换 imputed_data = imputer.fit_transform(df) print(imputed_data) ``` 上述代码会用每列的中位数值替换掉对应位置上的 NaN 值[^3]。 --- #### 2. **Sklearn 新版中的 `SimpleImputer`** 在新版 Scikit-Learn 中推荐使用 `SimpleImputer` 替代已废弃的 `Imputer`。以下是具体实现过程： ```python from sklearn.impute import SimpleImputer import pandas as pd import numpy as np data = { 'A': [1, 2, np.nan], 'B': [5, np.nan, np.nan], 'C': [9, 8, 7] } df = pd.DataFrame(data) # 定义 SimpleImputer 并设置填充策略为 mean(均值) imputer = SimpleImputer(strategy='mean') # 拟合并转换数据 imputed_data = imputer.fit_transform(df) # 转换回 DataFrame 形式以便查看结果 imputed_df = pd.DataFrame(imputed_data, columns=df.columns) print(imputed_df) ``` 此代码片段展示了如何通过平均值填补每一列中的缺失值[^4]。 --- #### 3. **Pandas 自身的缺失值处理功能** 除了利用 Scikit-Learn 提供的功能外，还可以直接借助 Pandas 库来进行简单的缺失值管理。例如： ##### a) 删除含有缺失值的行/列 ```python # 删除任何包含缺失值的行 cleaned_df_dropna_rows = df.dropna() # 删除任意一整列存在缺失值的情况下的整个列 cleaned_df_dropna_cols = df.dropna(axis=1) ``` ##### b) 使用固定值或者统计量填充值 ```python # 手动指定某个常量作为替代项 filled_with_const = df.fillna(value=-999) # 利用各列自身的均值进行补全 filled_with_mean = df.apply(lambda col: col.fillna(col.mean()), axis=0) ``` 以上两种方法分别适用于不同场景下对数据质量的要求以及业务逻辑约束条件[^2]。 --- ### 总结对比表 | 数据预处理工具选型建议 | 功能需求 | 推荐方案 | |------------------|---------------------------------------------------------------------------------------------| | 版本兼容性 | 如果项目依赖于低版本 Scikit-Learn (< v0.21)，则需采用 `Imputer`; 否则优先考虑升级至最新稳定发行版 | | 统计学基础支持 | 当前主流做法倾向于选用具备更多灵活性配置选项的新组件——即 `SimpleImputer`, 支持多种插补算法 | | 易用性和集成度 | 若仅涉及单一表格内部简单修正操作可单独依靠 Pandas; 更复杂的多源融合分析任务更适合调用专门设计好的机器学习框架接口 | ---