```python import pandas as pd, numpy as np ``` - 导入`pandas`库并别名为`pd`，用于数据处理和分析；导入`numpy`库并别名为`np`，用于数值计算。 ```python from sklearn.tree import DecisionTreeClassifier, _tree, export_text, plot_tree ``` - 从`sklearn`库的`tree`模块中导入`DecisionTreeClassifier`类，用于创建决策树分类器；导入`_tree`模块，用于访问决策树的底层结构；导入`export_text`函数，用于将决策树以文本形式输出；导入`plot_tree`函数，用于绘制决策树。 ```python import matplotlib.pyplot as plt ``` - 导入`matplotlib`库的`pyplot`模块并别名为`plt`，用于数据可视化。 ```python #指定读取文件和输出文件名称 feature_file = '问题二_特征构建结果.xlsx' strat_file = '问题二_三级风险分层结果.xlsx' out_file = '问题二_联合阈值规则.xlsx' tree_png = '问题二_联合阈值决策树.png' ``` - 定义变量`feature_file`，赋值为`'问题二_特征构建结果.xlsx'`，表示要读取的特征构建结果文件；定义变量`strat_file`，赋值为`'问题二_三级风险分层结果.xlsx'`，表示要读取的三级风险分层结果文件；定义变量`out_file`，赋值为`'问题二_联合阈值规则.xlsx'`，表示要输出的联合阈值规则文件；定义变量`tree_png`，赋值为`'问题二_联合阈值决策树.png'`，表示要保存的决策树图像文件。 ```python plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei', 'Arial Unicode MS', 'DejaVu Sans'] plt.rcParams['axes.unicode_minus'] = False plt.rcParams['figure.facecolor'] = 'white' plt.rcParams['axes.facecolor'] = '#FAFBFC' ``` - 设置`matplotlib`绘图时使用的字体，以支持中文显示；解决`matplotlib`绘图时负号显示问题；设置图形的背景颜色为白色；设置坐标轴的背景颜色为`#FAFBFC`。 ```python data = pd.read_excel(feature_file, sheet_name='建模数据') ``` - 使用`pandas`的`read_excel`函数读取`feature_file`文件中名为`'建模数据'`的工作表，并将数据存储在变量`data`中。 ```python features = pd.read_excel(feature_file, sheet_name='特征清单')['特征名'].dropna().astype(str).tolist() ``` - 读取`feature_file`文件中名为`'特征清单'`的工作表，提取`'特征名'`列，去除缺失值，将数据类型转换为字符串，并将其转换为列表存储在变量`features`中。 ```python grade = pd.read_excel(strat_file, sheet_name='全样本分层')[['idx','三级风险']] ``` - 读取`strat_file`文件中名为`'全样本分层'`的工作表，提取`'idx'`和`'三级风险'`两列，并将数据存储在变量`grade`中。 ```python df = data.merge(grade, left_index=True, right_on='idx', how='inner') ``` - 使用`pandas`的`merge`函数将`data`和`grade`两个数据框进行内连接，连接条件是`data`的索引和`grade`的`'idx'`列，结果存储在变量`df`中。 ```python # 用高风险 vs 非高风险训练浅层树，提取联合阈值规则 df['高风险标记'] = (df['三级风险'] == '高风险').astype(int) ``` - 在`df`数据框中新增一列`'高风险标记'`，如果`'三级风险'`列的值为`'高风险'`，则标记为`1`，否则标记为`0`。 ```python X, y = df[features], df['高风险标记'] ``` - 从`df`数据框中提取特征列存储在变量`X`中，提取`'高风险标记'`列存储在变量`y`中。 ```python tree = DecisionTreeClassifier(max_depth=3, min_samples_leaf=max(20, int(0.05*len(df))), class_weight='balanced', random_state=42) ``` - 创建一个决策树分类器对象，设置最大深度为`3`，最小叶节点样本数为`20`和数据集样本数的`5%`中的较大值，使用平衡的类别权重，随机种子为`42`。 ```python tree.fit(X, y) ``` - 使用特征数据`X`和目标数据`y`对决策树分类器进行训练。 ```python text_rules = export_text(tree, feature_names=features) ``` - 使用`export_text`函数将训练好的决策树以文本形式输出，并指定特征名称，结果存储在变量`text_rules`中。 ```python tree_ = tree.tree_ ``` - 获取决策树的底层结构对象，存储在变量`tree_`中。 ```python feature_name = [features[i] if i != _tree.TREE_UNDEFINED else 'undefined!' for i in tree_.feature] ``` - 根据决策树底层结构中的特征索引，将其转换为特征名称，如果索引为`_tree.TREE_UNDEFINED`，则表示未定义，用`'undefined!'`表示。 ```python rules = [] ``` - 定义一个空列表`rules`，用于存储提取的规则。 ```python def recurse(node, path): if tree_.feature[node] != _tree.TREE_UNDEFINED: name = feature_name[node] thr = tree_.threshold[node] recurse(tree_.children_left[node], path + [f"{name} <= {thr:.4f}"]) recurse(tree_.children_right[node], path + [f"{name} > {thr:.4f}"]) else: value = tree_.value[node][0] total = int(value.sum()) high_rate = float(value[1] / value.sum()) if value.sum() else 0 rules.append([' AND '.join(path), total, high_rate]) ``` - 定义一个递归函数`recurse`，用于遍历决策树的节点。如果当前节点不是叶节点，获取当前节点对应的特征名称和阈值，递归调用`recurse`函数处理左子节点和右子节点，并将当前节点的判断条件添加到路径中；如果当前节点是叶节点，获取当前叶节点的样本分布情况，计算样本总数和高风险样本的占比，将当前路径、样本总数和高风险占比作为一条规则添加到`rules`列表中。 ```python recurse(0, []) ``` - 从根节点开始调用`recurse`函数，初始化路径为空列表。 ```python rules_df = pd.DataFrame(rules, columns=['规则','样本数','高风险占比']).sort_values(['高风险占比','样本数'], ascending=[False,False]) ``` - 将`rules`列表转换为`pandas`数据框，并指定列名，然后按照高风险占比和样本数降序排序。 ```python with pd.ExcelWriter(out_file) as w: pd.DataFrame({'规则文本':[text_rules]}).to_excel(w, sheet_name='树规则文本', index=False) rules_df.to_excel(w, sheet_name='规则明细', index=False) ``` - 使用`pandas`的`ExcelWriter`类创建一个`Excel`文件写入对象，将存储决策树文本规则的字典转换为数据框，并将其写入`Excel`文件的`'树规则文本'`工作表中，不保存索引；将存储规则明细的数据框写入`Excel`文件的`'规则明细'`工作表中，不保存索引。 ```python with open('问题二_联合阈值规则.txt', 'w', encoding='utf-8') as f: f.write(text_rules) ``` - 以写入模式打开`'问题二_联合阈值规则.txt'`文件，并指定编码为`utf-8`，将决策树的文本规则写入文件中。 ```python fig, ax = plt.subplots(figsize=(18, 8)) ``` - 创建一个图形对象和一个坐标轴对象，指定图形大小为`18x8`英寸。 ```python plot_tree( tree, feature_names=features, class_names=['非高风险', '高风险'], filled=True, rounded=True, fontsize=9, impurity=False, proportion=True, ax=ax ) ``` - 使用`plot_tree`函数绘制决策树，指定特征名称、类别名称，填充节点颜色，设置节点边框为圆角，字体大小为`9`，不显示节点的不纯度，显示样本比例，并将图形绘制在指定的坐标轴上。 ```python ax.set_title('问题二：高风险识别联合阈值决策树', fontsize=14, fontweight='bold', pad=12) ``` - 设置坐标轴的标题，字体大小为`14`，字体加粗，标题与图形的间距为`12`。 ```python fig.tight_layout() ``` - 调整图形的布局，使图形内容紧凑。 ```python fig.savefig(tree_png, dpi=300, bbox_inches='tight') ``` - 将图形保存为指定的`PNG`文件，分辨率为`300 dpi`，裁剪图形以适应内容。 ```python plt.close(fig) ``` - 关闭图形对象。 ```python print(f'完成：{out_file}、问题二_联合阈值规则.txt，并生成 {tree_png}') ``` - 打印完成信息，显示生成的文件名称。