# Adaboost实战：用Python从零实现鸢尾花分类（附可视化代码） ## 1. 引言：为什么选择Adaboost处理鸢尾花分类？ 鸢尾花数据集作为机器学习领域的"Hello World"，包含了150个样本的萼片长度、萼片宽度、花瓣长度和花瓣宽度四个特征，目标是对三个品种进行分类。Adaboost作为集成学习的经典算法，通过组合多个弱分类器（如决策树桩）来构建强分类器，特别适合这类中小规模数据集的分类任务。 与传统单分类器相比，Adaboost具有三大优势： 1. **自适应权重调整**：自动聚焦分类错误的样本 2. **抗过拟合能力**：通过弱分类器组合降低方差 3. **可视化直观**：决策边界可解释性强 我们将使用Python的`numpy`和`matplotlib`从零实现Adaboost，避免直接调用`sklearn`的封装，真正理解算法核心。以下是关键工具版本要求： ```python import sys print("Python版本:", sys.version) # 输出示例：Python 3.8.10 ``` ## 2. 数据准备与特征工程 ### 2.1 加载并分析数据集 首先从`sklearn`加载鸢尾花数据集，并转换为DataFrame方便分析： ```python import pandas as pd from sklearn.datasets import load_iris iris = load_iris() df = pd.DataFrame(iris.data, columns=iris.feature_names) df['target'] = iris.target print(df.head()) ``` 关键统计特征： | 特征 | 均值 | 标准差 | 最小值 | 25%分位 | 中位数 | 75%分位 | 最大值 | |------|------|--------|--------|---------|--------|---------|--------| | 萼片长度 | 5.84 | 0.83 | 4.30 | 5.10 | 5.80 | 6.40 | 7.90 | | 萼片宽度 | 3.06 | 0.44 | 2.00 | 2.80 | 3.00 | 3.30 | 4.40 | | 花瓣长度 | 3.76 | 1.77 | 1.00 | 1.60 | 4.35 | 5.10 | 6.90 | | 花瓣宽度 | 1.20 | 0.76 | 0.10 | 0.30 | 1.30 | 1.80 | 2.50 | ### 2.2 特征可视化分析 使用pairplot展示特征间关系： ```python import seaborn as sns sns.pairplot(df, hue='target', palette='husl') plt.show() ```  观察发现花瓣长度和宽度对分类最具区分度，后续将重点使用这两个特征。 ### 2.3 数据预处理 标准化特征并划分训练测试集： ```python from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split X = df[['petal length (cm)', 'petal width (cm)']].values y = df['target'].values X = StandardScaler().fit_transform(X) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42) ``` ## 3. Adaboost核心算法实现 ### 3.1 弱分类器设计 实现基于单特征的阈值分类器： ```python class DecisionStump: def __init__(self): self.feature_idx = None self.threshold = None self.alpha = None self.polarity = 1 # 决定分类方向 def predict(self, X): n_samples = X.shape[0] X_column = X[:, self.feature_idx] predictions = np.ones(n_samples) predictions[X_column * self.polarity < self.threshold * self.polarity] = -1 return predictions ``` ### 3.2 Adaboost训练过程 完整训练流程实现： ```python class Adaboost: def __init__(self, n_clf=5): self.n_clf = n_clf self.clfs = [] def fit(self, X, y): n_samples, n_features = X.shape w = np.full(n_samples, 1/n_samples) for _ in range(self.n_clf): clf = DecisionStump() min_error = float('inf') # 寻找最佳特征和阈值 for feature_i in range(n_features): X_column = X[:, feature_i] thresholds = np.unique(X_column) for threshold in thresholds: for polarity in [1, -1]: # 计算加权误差 p = polarity predictions = np.ones(n_samples) predictions[X_column * p < threshold * p] = -1 error = np.sum(w[y != predictions]) if error < min_error: min_error = error clf.polarity = polarity clf.threshold = threshold clf.feature_idx = feature_i # 计算分类器权重 clf.alpha = 0.5 * np.log((1 - min_error) / (min_error + 1e-10)) # 更新样本权重 predictions = clf.predict(X) w *= np.exp(-clf.alpha * y * predictions) w /= np.sum(w) self.clfs.append(clf) def predict(self, X): clf_preds = [clf.alpha * clf.predict(X) for clf in self.clfs] y_pred = np.sum(clf_preds, axis=0) return np.sign(y_pred) ``` > 关键点说明：样本权重更新公式为$w_i^{(t+1)} = w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))$，其中$\alpha_t = \frac{1}{2}\ln(\frac{1-\epsilon_t}{\epsilon_t})$ ## 4. 模型训练与评估 ### 4.1 训练过程可视化 展示迭代过程中分类边界的变化： ```python def plot_adaboost(X, y, clf, iters): plt.figure(figsize=(10, 8)) # 绘制数据点 plt.scatter(X[:,0], X[:,1], c=y, cmap='viridis', edgecolor='k') # 绘制每个弱分类器决策边界 x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) for i, clf in enumerate(clf.clfs[:iters]): Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.contour(xx, yy, Z, colors='gray', alpha=0.3, linewidths=1) # 绘制最终决策边界 Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.contour(xx, yy, Z, colors='red', linewidths=2) plt.title(f'Adaboost决策边界 (迭代次数: {iters})') plt.xlabel('花瓣长度(标准化)') plt.ylabel('花瓣宽度(标准化)') plt.show() # 训练并可视化 adaboost = Adaboost(n_clf=10) adaboost.fit(X_train, y_train) plot_adaboost(X_train, y_train, adaboost, iters=5) ``` ### 4.2 性能评估指标 计算准确率和混淆矩阵： ```python from sklearn.metrics import accuracy_score, confusion_matrix y_pred = adaboost.predict(X_test) acc = accuracy_score(y_test, y_pred) print(f"测试集准确率: {acc:.2%}") cm = confusion_matrix(y_test, y_pred) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues') plt.xlabel('预测标签') plt.ylabel('真实标签') plt.show() ``` 典型输出结果： ``` 测试集准确率: 93.33% ``` ## 5. 高级优化技巧 ### 5.1 特征重要性分析 通过分类器权重分析特征重要性： ```python feature_importance = np.zeros(X.shape[1]) for clf in adaboost.clfs: feature_importance[clf.feature_idx] += clf.alpha plt.bar(range(X.shape[1]), feature_importance) plt.xticks(range(X.shape[1]), ['花瓣长度', '花瓣宽度']) plt.title('特征重要性') plt.show() ``` ### 5.2 超参数调优 使用网格搜索优化迭代次数： ```python best_acc = 0 best_n = 0 accuracies = [] for n in range(1, 20): model = Adaboost(n_clf=n) model.fit(X_train, y_train) acc = accuracy_score(y_test, model.predict(X_test)) accuracies.append(acc) if acc > best_acc: best_acc = acc best_n = n plt.plot(range(1,20), accuracies) plt.xlabel('弱分类器数量') plt.ylabel('测试集准确率') plt.show() ``` ### 5.3 多分类扩展 通过One-vs-Rest策略扩展多分类： ```python from sklearn.multiclass import OneVsRestClassifier adaboost_multi = OneVsRestClassifier(Adaboost(n_clf=10)) adaboost_multi.fit(X_train, y_train) acc = accuracy_score(y_test, adaboost_multi.predict(X_test)) print(f"多分类准确率: {acc:.2%}") ``` ## 6. 完整代码示例 ```python # 完整代码整合 import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import accuracy_score class DecisionStump: # ... (同上实现) class Adaboost: # ... (同上实现) # 数据准备 iris = load_iris() X = iris.data[:, 2:4] # 仅使用花瓣特征 y = np.where(iris.target == 0, -1, 1) # 二分类问题 X = StandardScaler().fit_transform(X) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 训练与评估 adaboost = Adaboost(n_clf=15) adaboost.fit(X_train, y_train) y_pred = adaboost.predict(X_test) print(f"测试集准确率: {accuracy_score(y_test, y_pred):.2%}") plot_adaboost(X_train, y_train, adaboost, iters=15) ``` ## 7. 实际应用建议 1. **数据规模适配**：当样本量>10,000时，考虑使用随机森林或XGBoost 2. **特征选择**：优先选择区分度高的特征组合 3. **异常值处理**：Adaboost对异常值敏感，需预先清洗数据 4. **类别平衡**：不平衡数据需配合过采样/欠采样技术 常见问题解决方案： - **过拟合**：减少弱分类器数量或使用更简单的基分类器 - **收敛慢**：增加学习率或检查特征相关性 - **预测不稳定**：增加迭代次数或使用Bagging集成