在 Python 的 scikit-learn 库中，`feature_importances_` 是某些基于树模型（如 `ExtraTreesClassifier`、`RandomForestClassifier` 或 `GradientBoostingClassifier`）提供的属性，用于衡量每个特征对于模型预测的重要性[^1]。该属性返回一个数组，其中的每个值表示对应特征的重要性得分。这些得分加总后等于 1，因此可以将其理解为各特征对模型输出的相对贡献。 ### 使用方法 使用 `feature_importances_` 属性的基本步骤包括： 1. **训练模型**：首先需要使用训练数据拟合一个支持 `feature_importances_` 属性的模型。 2. **获取重要性得分**：通过访问模型的 `feature_importances_` 属性来获取特征重要性得分。 3. **可视化或分析结果**：可以将结果进行排序并绘制条形图，以更直观地查看哪些特征对模型的影响最大。 以下是一个完整的示例代码，演示了如何使用 `ExtraTreesClassifier` 来计算特征重要性，并打印出各个特征的重要性得分： ```python from sklearn import metrics from sklearn.ensemble import ExtraTreesClassifier from sklearn.datasets import load_iris # 加载数据集 X, y = load_iris(return_X_y=True) # 创建并训练模型 model = ExtraTreesClassifier() model.fit(X, y) # 获取特征重要性 importances = model.feature_importances_ # 打印特征重要性 print("Feature Importances:") for i, importance in enumerate(importances): print(f"Feature {i}: {importance:.4f}") ``` ### 特征选择中的应用 除了直接观察特征重要性外，还可以结合 `SelectFromModel` 进一步进行特征选择。例如，可以通过设定阈值筛选出重要性高于某个阈值的特征： ```python from sklearn.feature_selection import SelectFromModel # 根据特征重要性选择特征 sfm = SelectFromModel(model, threshold='median') # 使用中位数作为阈值 X_new = sfm.fit_transform(X, y) # 输出新特征矩阵的形状 print("New shape after feature selection:", X_new.shape) ``` ### 总结 `feature_importances_` 提供了一种量化评估特征重要性的手段，有助于提升模型性能和解释能力。它不仅能够帮助识别出无关紧要的特征，还能指导进一步的数据预处理和特征工程工作。 ---