### Adaboost Algorithm 的 Python 实现代码 以下是基于引用中的描述以及常见的机器学习实践所提供的 Adaboost 算法的 Python 实现代码。此代码实现了二分类问题下的 Adaboost 方法。 ```python import numpy as np from sklearn.tree import DecisionTreeClassifier class AdaBoost: def __init__(self, n_estimators=50, learning_rate=1.0): self.n_estimators = n_estimators # 基估计器的数量 self.learning_rate = learning_rate # 学习率 self.models = [] # 弱分类器列表 self.model_weights = [] # 各弱分类器权重 self.sample_weights = None # 样本权重 def fit(self, X, y): n_samples, _ = X.shape # 初始化样本权重 self.sample_weights = np.full(n_samples, (1 / n_samples)) for _ in range(self.n_estimators): # 训练一个弱分类器（决策树桩） model = DecisionTreeClassifier(max_depth=1) model.fit(X, y, sample_weight=self.sample_weights) predictions = model.predict(X) # 计算误差 error = sum((predictions != y) * self.sample_weights) / sum(self.sample_weights) # 更新模型权重 alpha = self.learning_rate * np.log((1 - error) / max(error, 1e-8)) # 防止除零 # 更新样本权重 new_sample_weights = self.sample_weights * np.exp(-alpha * y * predictions) self.sample_weights = new_sample_weights / sum(new_sample_weights) # 归一化 # 保存当前弱分类器及其权重 self.models.append(model) self.model_weights.append(alpha) def predict(self, X): preds = [model.predict(X) for model in self.models] pred_matrix = np.array(preds).T final_preds = np.sign(np.dot(pred_matrix, np.array(self.model_weights))) return final_preds ``` #### 关键点解释 1. **初始化样本权重**: 所有训练样例初始具有相同的权重 \( w_i = \frac{1}{n} \)[^2]。 2. **弱分类器的选择**: 使用 `DecisionTreeClassifier` 并设置最大深度为 1 来模拟弱学习器的行为[^2]。 3. **更新规则**: 每次迭代中，计算错误率并调整样本权重以更关注被误分的数据点。 4. **最终预测**: 将所有弱分类器的结果加权求和后取符号作为最终预测结果。 --- ###