### Bagging算法原理及其Python实现 #### 1. Bagging算法概述 Bagging（Bootstrap Aggregating）是一种集成学习方法，旨在通过减少方差来提高预测模型的稳定性与准确性。它通过对原始数据集进行多次有放回抽样生成多个子数据集，并在这些子数据集上独立训练多个基学习器[^1]。最终预测结果由所有基学习器的结果投票决定（分类任务）或取平均值（回归任务）。 --- #### 2. Bagging算法的核心思想 Bagging的主要特点是利用 Bootstrap 抽样的方式构建多样化的子数据集，从而降低单一模型因过拟合而导致的高方差问题。对于每个子数据集，可以采用相同的基学习器（如决策树），并通过并行的方式训练各个基学习器。 --- #### 3. Python中的Bagging实现 ##### 使用`scikit-learn`库实现Bagging 以下是基于`DecisionTreeClassifier`的Bagging分类器实现： ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score, classification_report # 数据生成 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 定义基分类器 base_estimator = DecisionTreeClassifier(max_depth=3) # 创建Bagging分类器 bagging_model = BaggingClassifier(base_estimator=base_estimator, n_estimators=100, random_state=42) bagging_model.fit(X_train, y_train) # 预测 y_pred = bagging_model.predict(X_test) # 输出评估指标 accuracy = accuracy_score(y_test, y_pred) report = classification_report(y_test, y_pred) print(f"Accuracy: {accuracy * 100:.2f}%\n") print(report) ``` 上述代码展示了如何使用`BaggingClassifier`类创建一个包含100个决策树的Bagging分类器，并对其性能进行了评估。 --- ##### 自定义Bagging实现 如果希望通过手动方式实现Bagging，则可以按照以下步骤完成： ```python import numpy as np from sklearn.utils import resample from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score def custom_bagging(X, y, base_estimator, n_estimators=100, **kwargs): """ 手动实现Bagging算法 参数: X (numpy.ndarray): 特征矩阵 y (numpy.ndarray): 标签向量 base_estimator (class): 基学习器类 n_estimators (int): 基学习器数量 kwargs: 基学习器初始化参数 返回值: estimators (list): 训练好的基学习器列表 """ estimators = [] for _ in range(n_estimators): # 进行Bootstrap采样 X_bootstrap, y_bootstrap = resample(X, y, replace=True, stratify=y, random_state=np.random.randint(0, 100)) # 初始化并训练基学习器 estimator = base_estimator(**kwargs).fit(X_bootstrap, y_bootstrap) estimators.append(estimator) return estimators def predict_with_bagging(estimators, X): """ 使用Bagging集合进行预测 参数: estimators (list): 已训练的基学习器列表 X (numpy.ndarray): 测试特征矩阵 返回值: predictions (numpy.ndarray): 最终预测结果 """ predictions = np.array([estimator.predict(X) for estimator in estimators]) majority_vote = np.apply_along_axis(lambda x: np.bincount(x).argmax(), axis=0, arr=predictions.astype(int)) return majority_vote # 调用自定义Bagging函数 base_estimator = DecisionTreeClassifier custom_estimators = custom_bagging(X_train, y_train, base_estimator, n_estimators=100, max_depth=3) # 预测 y_pred_custom = predict_with_bagging(custom_estimators, X_test) # 输出准确率 accuracy_custom = accuracy_score(y_test, y_pred_custom) print(f"Custom Bagging Accuracy: {accuracy_custom * 100:.2f}%") ``` 此代码片段展示了一个完全自定义的Bagging实现过程，其中包含了Bootstrap采样、基学习器训练以及多数表决机制。 --- #### 4. 总结 Bagging算法通过聚合多个基学习器的结果显著提高了模型的稳定性和泛化能力。无论是借助现成工具包还是自行编写代码，都可以灵活应用于各种机器学习场景中。 --- ###