### 完整的Python代码示例进行特征选择和变量筛选 在机器学习项目中，特征选择是一个重要的预处理步骤。通过移除不相关或冗余的特征，可以简化模型并提升其性能。下面提供了一个完整的Python代码示例来展示如何执行基于过滤法、嵌入法以及包裹法的特征选择。 #### 过滤法：方差阈值去除低方差特征 ```python from sklearn.datasets import load_iris from sklearn.feature_selection import VarianceThreshold # 加载数据集 data = load_iris() X, y = data.data, data.target # 应用方差阈值方法删除低方差特征 selector = VarianceThreshold(threshold=0.1) X_filtered = selector.fit_transform(X) print(f"原始形状: {X.shape}") print(f"过滤后的形状: {X_filtered.shape}") ``` #### 嵌入法：使用树模型计算特征重要性 ```python import matplotlib.pyplot as plt from sklearn.ensemble import RandomForestClassifier # 训练随机森林分类器 clf = RandomForestClassifier(random_state=42) clf.fit(X, y) # 获取特征的重要性分数 importances = clf.feature_importances_ # 绘制柱状图显示各特征的重要程度 plt.figure(figsize=(8, 6)) plt.bar(range(len(importances)), importances, tick_label=data.feature_names) plt.title('Feature Importances') plt.xlabel('Features') plt.ylabel('Importance Score') plt.show() ``` #### 包裹法：递归消除特征 (RFE) ```python from sklearn.svm import SVC from sklearn.feature_selection import RFE # 初始化支持向量机作为基础估计器 estimator = SVC(kernel="linear") # 构建递归特征消除对象 rfe_selector = RFE(estimator, n_features_to_select=2, step=1) rfe_result = rfe_selector.fit(X, y) # 输出最终选定的两个最佳特征索引位置 selected_indices = rfe_result.support_ print("Selected Features:", selected_indices) ``` 上述三种方式分别代表了不同的特征选择策略，在实际应用过程中可以根据具体情况灵活选用最合适的方案[^1]。