# 题目重述 基于提供的CSV文件 `lcs_synthetic_20000.csv`，设计一个完整的Python建模分析与可视化项目。该项目应包括数据读取、数据探索性分析（EDA）、特征处理、模型构建（预测肺癌风险 `LUNG_CANCER`）、模型评估以及结果可视化。 --- # 完整代码实现（含注释） ```python # 导入所需库 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score, roc_curve import warnings warnings.filterwarnings('ignore') # 设置中文字体和图形样式 plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial'] plt.rcParams['axes.unicode_minus'] = False sns.set(style="whitegrid") # =================== 第一步：加载数据 =================== file_path = 'lcs_synthetic_20000.csv' df = pd.read_csv(file_path) print("原始数据前5行：") print(df.head()) # 检查缺失值和数据类型 print("\n数据基本信息：") print(df.info()) print("\n目标变量分布：") print(df['LUNG_CANCER'].value_counts()) # =================== 第二步：数据预处理 =================== # 将 'LUNG_CANCER' 中的 YES/NO 转换为 1/0 df['LUNG_CANCER'] = df['LUNG_CANCER'].map({'YES': 1, 'NO': 0}) # 将 GENDER 数值化：M -> 1, F -> 0 df['GENDER'] = df['GENDER'].map({'M': 1, 'F': 0}) # 其他所有列已经是数字，但需确认是否为数值型 features = df.columns[:-1] # 所有特征 X = df[features] y = df['LUNG_CANCER'] # =================== 第三步：探索性数据分析（EDA）=================== # 1. 绘制目标变量分布饼图 plt.figure(figsize=(6, 6)) df['LUNG_CANCER'].value_counts().plot.pie(autopct='%1.1f%%', labels=['No Cancer (0)', 'Lung Cancer (1)'], colors=['lightblue', 'salmon']) plt.title('肺部癌症患者分布') plt.ylabel('') plt.show() # 2. 年龄分布对比（患癌 vs 非患癌） plt.figure(figsize=(10, 6)) sns.histplot(data=df, x='AGE', hue='LUNG_CANCER', bins=30, kde=True, palette='Set1') plt.title('不同年龄段肺部癌症患者分布') plt.xlabel('年龄') plt.ylabel('频次') plt.show() # 3. 相关性热力图 plt.figure(figsize=(12, 10)) correlation_matrix = df.corr() sns.heatmap(correlation_matrix, annot=False, cmap='coolwarm', center=0) plt.title('特征间相关性热力图') plt.show() # 4. 关键风险因素箱线图（如吸烟、黄手指、焦虑等） risk_factors = ['SMOKING', 'YELLOW_FINGERS', 'ANXIETY', 'PEER_PRESSURE', 'CHRONIC DISEASE'] for factor in risk_factors: plt.figure(figsize=(8, 5)) sns.boxplot(data=df, x='LUNG_CANCER', y=factor, palette='Set2') plt.title(f'{factor} 对肺癌的影响') plt.xticks([0, 1], ['无癌症', '有癌症']) plt.ylabel(factor.replace('_', ' ').title()) plt.xlabel('是否患有肺癌') plt.show() # =================== 第四步：训练模型 =================== # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y) # 构建随机森林分类器 model = RandomForestClassifier(n_estimators=100, random_state=42, class_weight='balanced') model.fit(X_train, y_train) # 预测 y_pred = model.predict(X_test) y_pred_proba = model.predict_proba(X_test)[:, 1] # =================== 第五步：模型评估 =================== # 1. 分类报告 print("\n分类报告：") print(classification_report(y_test, y_pred, target_names=['No Cancer', 'Lung Cancer'])) # 2. 混淆矩阵热图 cm = confusion_matrix(y_test, y_pred) plt.figure(figsize=(8, 6)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=['No Cancer', 'Lung Cancer'], yticklabels=['No Cancer', 'Lung Cancer']) plt.title('混淆矩阵') plt.xlabel('预测标签') plt.ylabel('真实标签') plt.show() # 3. ROC曲线和AUC值 fpr, tpr, _ = roc_curve(y_test, y_pred_proba) auc_score = roc_auc_score(y_test, y_pred_proba) plt.figure(figsize=(8, 6)) plt.plot(fpr, tpr, label=f'ROC Curve (AUC = {auc_score:.2f})', color='darkorange', linewidth=2) plt.plot([0, 1], [0, 1], 'k--', label='Random Guess') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('假阳性率 (False Positive Rate)') plt.ylabel('真阳性率 (True Positive Rate)') plt.title('ROC 曲线') plt.legend(loc='lower right') plt.grid(True) plt.show() # =================== 第六步：特征重要性可视化 =================== # 获取特征重要性 importances = model.feature_importances_ feature_names = X.columns indices = np.argsort(importances)[::-1] # 绘制条形图 plt.figure(figsize=(10, 8)) sns.barplot(x=importances[indices], y=[feature_names[i] for i in indices], palette='viridis') plt.title('各特征对肺癌预测的重要性排序') plt.xlabel('重要性得分') plt.ylabel('特征名称') plt.tight_layout() plt.show() # 输出最重要的前5个特征 print("\n前5个最重要特征：") for i in range(5): print(f"{i+1}. {feature_names[indices[i]]}: {importances[indices[i]]:.3f}") ``` --- # 代码解析 1. **数据加载与检查**：使用 `pandas` 加载 CSV 文件，并查看基本结构、缺失情况和目标变量分布。 2. **数据编码**：将分类变量（性别、肺癌标签）转换为数值形式以便建模。 3. **探索性数据分析（EDA）**： - 使用饼图展示患癌比例； - 使用直方图观察年龄分布； - 使用热力图分析特征间相关性； - 使用箱线图比较关键风险因素在两类人群中的差异。 4. **模型训练**：采用 `RandomForestClassifier` 进行分类建模，因其能处理非线性关系且具备良好的抗过拟合能力。 5. **模型评估**： - 分类报告提供精确率、召回率、F1分数； - 混淆矩阵直观显示分类效果； - ROC曲线和AUC衡量模型判别能力。 6. **特征重要性分析**：通过绘图展示哪些变量对预测肺癌贡献最大，增强可解释性。 --- # 知识点 - **Label Encoding（标签编码）**：将类别变量如 "M/F" 或 "YES/NO" 映射为 0 和 1，便于机器学习算法处理。 - **Random Forest Classifier（随机森林分类器）**：集成学习方法，结合多个决策树提升预测准确性和稳定性，适用于高维数据。 - **ROC-AUC（受试者工作特征-曲线下面积）**：用于评估二分类模型性能，AUC越接近1表示模型区分能力越强。