递归特征消除（Recursive Feature Elimination, RFE）是一种常用的特征选择方法，尤其适用于高维数据集。它通过递归地移除最不重要的特征，并在剩余的特征上重新训练模型，直到达到指定的特征数量或最优性能为止。RFE通常与支持特征重要性评估的模型（如线性回归、随机森林、支持向量机等）结合使用。 在Python中，`scikit-learn` 库提供了 `RFE` 和 `RFECV` 两个类，分别用于固定特征数量的递归特征选择和基于交叉验证的自动特征选择。 以下是一个使用 `RFE` 进行回归分析的完整示例： ### 示例代码：使用 RFE 进行回归分析 ```python from sklearn.datasets import make_regression from sklearn.feature_selection import RFE from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 生成合成数据集 X, y = make_regression(n_samples=1000, n_features=20, noise=0.1) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 使用随机森林作为基础模型 model = RandomForestRegressor(n_estimators=100, random_state=42) # 初始化 RFE，选择 10 个最重要的特征 selector = RFE(estimator=model, n_features_to_select=10) X_train_selected = selector.fit_transform(X_train, y_train) X_test_selected = selector.transform(X_test) # 训练模型 model.fit(X_train_selected, y_train) y_pred = model.predict(X_test_selected) # 评估模型 print("Mean Squared Error:", mean_squared_error(y_test, y_pred)) # 输出被选中的特征索引 print("Selected features indices:", selector.get_support(indices=True)) ``` ### 示例代码：使用 RFECV 自动选择最优特征数量 ```python from sklearn.feature_selection import RFECV # 使用线性回归作为基础模型 from sklearn.linear_model import LinearRegression model = LinearRegression() # 使用交叉验证自动选择最优特征数量 selector_cv = RFECV(estimator=model, step=1, cv=5, scoring='neg_mean_squared_error') X_train_selected_cv = selector_cv.fit_transform(X_train, y_train) X_test_selected_cv = selector_cv.transform(X_test) # 训练模型 model.fit(X_train_selected_cv, y_train) y_pred_cv = model.predict(X_test_selected_cv) # 评估模型 print("Mean Squared Error with RFECV:", mean_squared_error(y_test, y_pred_cv)) # 输出被选中的特征数量 print("Optimal number of features:", selector_cv.n_features_) print("Selected features indices:", selector_cv.get_support(indices=True)) ``` ### 特征选择的注意事项 - **基础模型选择**：RFE依赖于基础模型的特征重要性评估。随机森林、梯度提升树等模型通常能提供更可靠的特征重要性评估。 - **交叉验证**：使用 `RFECV` 可以自动确定最佳特征数量，提升模型泛化能力。 - **计算开销**：RFE 的计算复杂度较高，尤其是在特征维度非常大的情况下。可以通过 `step` 参数控制每次移除的特征数量以减少计算量。