决策树是一种经典的机器学习算法，它通过一系列基于特征值的“是/否”判断来对数据进行分类或回归。在二分类任务中，决策树的目标是将样本划分到两个预定义的类别中（例如，正类和负类）[ref_2]。其核心思想是选择最优的特征划分点，使得划分后的子集“纯度”最高，即同一类别的样本尽可能聚集在一起。常用的纯度度量指标包括信息增益（ID3算法）、信息增益率（C4.5算法）和基尼指数（CART算法）[ref_5][ref_6]。 以下是一个使用Python的`scikit-learn`库实现决策树二分类的完整示例，我们将使用一个模拟的心脏病预测数据集来说明整个过程[ref_3]。 ### 1. 环境准备与数据生成 首先，需要导入必要的库，并创建一个用于演示的模拟数据集。 ```python # 导入必要的库 import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier, plot_tree from sklearn.metrics import accuracy_score, classification_report, confusion_matrix import matplotlib.pyplot as plt import seaborn as sns # 设置随机种子以确保结果可复现 np.random.seed(42) # 生成模拟的心脏病数据集 # 特征：年龄(age)、胆固醇(cholesterol)、最大心率(max_heart_rate)、运动诱发心绞痛(exercise_angina) # 目标：是否有心脏病(heart_disease)， 1表示有，0表示无 n_samples = 500 # 生成特征数据 age = np.random.randint(30, 80, n_samples) cholesterol = np.random.randint(150, 350, n_samples) max_heart_rate = np.random.randint(100, 200, n_samples) exercise_angina = np.random.choice([0, 1], n_samples, p=[0.7, 0.3]) # 0:无，1:有 # 根据一定规则生成目标变量，使数据具有可学习的模式 # 假设规则：年龄>60且胆固醇>240，或运动诱发心绞痛为1，则患心脏病风险高 heart_disease = np.zeros(n_samples, dtype=int) for i in range(n_samples): if (age[i] > 60 and cholesterol[i] > 240) or exercise_angina[i] == 1: if np.random.rand() > 0.2: # 加入一些噪声 heart_disease[i] = 1 # 创建DataFrame data = pd.DataFrame({ 'age': age, 'cholesterol': cholesterol, 'max_heart_rate': max_heart_rate, 'exercise_angina': exercise_angina, 'heart_disease': heart_disease }) print("数据集前5行:") print(data.head()) print(f"\n数据集形状: {data.shape}") print(f"\n目标变量分布:\n{data['heart_disease'].value_counts()}") ``` ### 2. 数据预处理与划分 将数据集划分为特征（X）和目标（y），然后进一步划分为训练集和测试集。 ```python # 划分特征和目标变量 X = data.drop('heart_disease', axis=1) y = data['heart_disease'] # 划分训练集和测试集 (70%训练，30%测试) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y) print(f"训练集大小: {X_train.shape}") print(f"测试集大小: {X_test.shape}") ``` ### 3. 构建与训练决策树模型 使用`DecisionTreeClassifier`来构建模型。这里我们选择`criterion='gini'`（基尼指数）作为不纯度度量标准，这是CART算法用于分类的默认标准[ref_5][ref_6]。`max_depth=4`用于限制树深，防止过拟合[ref_1]。 ```python # 初始化决策树分类器 # criterion: 分裂标准，'gini'为基尼指数，'entropy'为信息增益 # max_depth: 树的最大深度，用于预剪枝，防止过拟合 # random_state: 随机种子，确保结果可复现 clf = DecisionTreeClassifier(criterion='gini', max_depth=4, random_state=42) # 在训练集上训练模型 clf.fit(X_train, y_train) print("模型训练完成。") print(f"模型使用的特征重要性: {clf.feature_importances_}") ``` ### 4. 模型预测与评估 使用训练好的模型对测试集进行预测，并评估其性能。 ```python # 在测试集上进行预测 y_pred = clf.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print(f"模型在测试集上的准确率: {accuracy:.4f}") # 生成详细的分类报告（包括精确率、召回率、F1-score等） print("\n分类报告:") print(classification_report(y_test, y_pred, target_names=['无心脏病', '有心脏病'])) # 绘制混淆矩阵 cm = confusion_matrix(y_test, y_pred) plt.figure(figsize=(6,5)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=['无心脏病', '有心脏病'], yticklabels=['无心脏病', '有心脏病']) plt.xlabel('预测标签') plt.ylabel('真实标签') plt.title('决策树二分类混淆矩阵') plt.show() ``` ### 5. 决策树可视化 可视化生成的决策树，有助于理解模型是如何做出决策的。 ```python # 可视化决策树 plt.figure(figsize=(20,12)) plot_tree(clf, feature_names=X.columns, class_names=['无心脏病', '有心脏病'], filled=True, # 用颜色填充节点以表示多数类 rounded=True, fontsize=10) plt.title("心脏病预测决策树结构") plt.show() # 另一种简洁的特征重要性可视化 feature_importance = pd.DataFrame({'feature': X.columns, 'importance': clf.feature_importances_}) feature_importance = feature_importance.sort_values('importance', ascending=False) plt.figure(figsize=(8,5)) sns.barplot(x='importance', y='feature', data=feature_importance) plt.title('决策树特征重要性排序') plt.xlabel('重要性得分') plt.tight_layout() plt.show() ``` ### 6. 关键参数解释与调优建议 上述代码中使用的`DecisionTreeClassifier`包含多个重要参数，调整它们可以显著影响模型性能[ref_1][ref_5]： | 参数 | 说明 | 常用值/选项 | 作用 | | :--- | :--- | :--- | :--- | | `criterion` | 分裂节点的质量度量标准 | `'gini'` (默认), `'entropy'` | `'gini'`基于基尼不纯度，计算稍快；`'entropy'`基于信息增益，可能产生更平衡的树[ref_5][ref_6]。 | | `max_depth` | 树的最大深度 | 整数，例如 3, 5, 10, `None` | 限制树生长，防止过拟合。深度越大模型越复杂。通常从`None`开始，通过剪枝控制[ref_1]。 | | `min_samples_split` | 分裂内部节点所需的最小样本数 | 整数或浮点数 | 节点样本数少于该值则不再分裂。增大该值有正则化效果。 | | `min_samples_leaf` | 叶节点所需的最小样本数 | 整数或浮点数 | 限制叶节点样本过少，可平滑模型。 | | `max_features` | 寻找最佳分裂时考虑的特征数 | 整数、浮点数或`'auto'`, `'sqrt'` | 限制考虑的特征，可用于构建随机森林式的多样性。 | **简单的网格搜索调参示例：** ```python from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'criterion': ['gini', 'entropy'], 'max_depth': [3, 4, 5, 6, None], 'min_samples_split': [2, 5, 10], 'min_samples_leaf': [1, 2, 4] } # 初始化网格搜索 grid_search = GridSearchCV(estimator=DecisionTreeClassifier(random_state=42), param_grid=param_grid, cv=5, # 5折交叉验证 scoring='accuracy', n_jobs=-1) # 执行网格搜索 grid_search.fit(X_train, y_train) # 输出最佳参数和得分 print(f"最佳参数: {grid_search.best_params_}") print(f"最佳交叉验证准确率: {grid_search.best_score_:.4f}") # 使用最佳参数模型在测试集上评估 best_clf = grid_search.best_estimator_ y_pred_best = best_clf.predict(X_test) print(f"调优后模型测试集准确率: {accuracy_score(y_test, y_pred_best):.4f}") ``` ### 总结 本示例完整展示了使用决策树进行二分类任务的流程：从数据生成、预处理、模型训练、预测评估到可视化。决策树的核心优势在于模型**可解释性强**，通过可视化树结构可以清晰了解决策逻辑[ref_2]。然而，它也存在对**噪声敏感**和**容易过拟合**的缺点[ref_1][ref_6]。在实际应用中，通常需要通过**剪枝**（如设置`max_depth`）、**集成方法**（如随机森林、梯度提升树）或**网格搜索调参**来提升模型的泛化能力[ref_1][ref_2]。对于非线性可分的二分类问题，决策树是一个强大且直观的起点。