### Stacking 集成学习方法的使用示例 #### 导入必要的库 为了展示 stacking 方法的应用，下面是一个简单的 Python 实现案例。此例子将采用 scikit-learn 库中的 `StackingClassifier` 或者自定义实现来构建一个二分类问题上的 stacker。 ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.metrics import accuracy_score from sklearn.experimental import enable_hist_gradient_boosting # noqa from sklearn.ensemble import HistGradientBoostingClassifier from sklearn.ensemble import StackingClassifier ``` #### 准备数据集 创建一个人工的数据集用于演示目的： ```python X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42) ``` #### 定义基模型和元模型 这里选择了几种不同类型的机器学习算法作为 base estimators，并选用逻辑回归作为 meta-model 来做最后决策。 ```python estimators = [ ('rf', RandomForestClassifier(n_estimators=10, random_state=42)), ('knn', KNeighborsClassifier()), ('gbdt', GradientBoostingClassifier(random_state=42)) ] meta_estimator = LogisticRegression() ``` #### 构建并训练 Stacking Classifier 利用上述配置好的组件建立 stacking classifier 并对其进行拟合操作。 ```python clf = StackingClassifier(estimators=estimators, final_estimator=meta_estimator, cv=5) pipeline = Pipeline([ ("scaler", StandardScaler()), # 数据标准化处理 ("classifier", clf) # 使用stacking分类器 ]) pipeline.fit(X_train, y_train) ``` #### 测试与评估 完成训练之后，在测试集上验证模型表现，并计算准确率得分。 ```python y_pred = pipeline.predict(X_test) print(f'Accuracy on test set: {accuracy_score(y_test, y_pred):.3f}') ``` 以上就是基于 Scikit-Learn 的 stacking ensemble learning 的基本应用实例[^4]。