### Python 中使用 Sklearn 实现 Bagging 回归 Bagging（Bootstrap Aggregating）是一种集成学习方法，通过构建多个模型并将其预测结果组合起来以提高整体性能。在 `scikit-learn` 库中，可以通过 `BaggingRegressor` 类来实现这一功能。 以下是基于 `sklearn` 的 Bagging 回归示例代码： ```python import numpy as np from sklearn.ensemble import BaggingRegressor from sklearn.tree import DecisionTreeRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 创建数据集 (参考自定义函数 y=0.5*np.sin(x1)+ 0.5*np.cos(x2)+0.1*x1+3[^3]) np.random.seed(42) x1_train = np.linspace(0, 50, 500).reshape(-1, 1) x2_train = np.linspace(-10, 10, 500).reshape(-1, 1) X_train = np.hstack((x1_train, x2_train)) noise = np.random.uniform(-0.5, 0.5, size=(500, 1)) # 添加噪声 y_train = 0.5 * np.sin(X_train[:, 0]) + 0.5 * np.cos(X_train[:, 1]) + 0.1 * X_train[:, 0] + 3 + noise.flatten() # 测试集 x1_test = np.linspace(0, 50, 100).reshape(-1, 1) x2_test = np.linspace(-10, 10, 100).reshape(-1, 1) X_test = np.hstack((x1_test, x2_test)) y_test = 0.5 * np.sin(X_test[:, 0]) + 0.5 * np.cos(X_test[:, 1]) + 0.1 * X_test[:, 0] + 3 # 使用决策树作为基础估计器 base_estimator = DecisionTreeRegressor(max_depth=5) # 初始化 Bagging Regressor bagging_regressor = BaggingRegressor(base_estimator=base_estimator, n_estimators=100, random_state=42) # 训练模型 bagging_regressor.fit(X_train, y_train) # 预测 y_pred = bagging_regressor.predict(X_test) # 输出均方误差 mse = mean_squared_error(y_test, y_pred) print(f"Mean Squared Error: {mse}") ``` #### 解析 上述代码实现了以下过程： 1. **数据生成**：按照给定的二元函数 \( y = 0.5 \sin(x_1) + 0.5 \cos(x_2) + 0.1 x_1 + 3 \)，创建训练集和测试集，并加入随机噪声。 2. **模型初始化**：使用 `DecisionTreeRegressor` 作为基础估计器，并设置最大深度为 5。 3. **Bagging 模型配置**：通过 `BaggingRegressor` 构建一个包含 100 个子模型的集合。 4. **评估指标**：计算测试集上的均方误差（MSE），用于衡量模型表现。 此方法适用于复杂的数据分布场景，能够有效降低过拟合风险并提升泛化能力[^1]。 ---