```python import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from scipy import stats # ------------------------------- # 第一步：数据获取与加载（用户自定义路径） # ------------------------------- # ✅ 请将以下路径替换为您本地的 winequality-red.csv 文件实际路径 file_path = r"your_local_path\winequality-red.csv" # ← 修改此处！例如：r"C:\Data\winequality-red.csv" # 自动检测分隔符并读取（增强鲁棒性） try: # 先尝试用分号读取（UCI标准格式） data = pd.read_csv(file_path, sep=';', encoding='utf-8') print("✅ 成功以分号(;)为分隔符加载数据。") except UnicodeDecodeError: # 若编码错误，尝试 latin-1（UCI数据常见） data = pd.read_csv(file_path, sep=';', encoding='latin-1') print("✅ 成功以 latin-1 编码 + 分号加载数据。") except Exception as e: # 若仍失败，提示用户检查路径和格式 raise RuntimeError(f"❌ 数据加载失败，请检查：\n- 文件路径是否正确？\n- 文件是否存在？\n- 是否为标准UCI格式（分号分隔）？\n错误详情：{e}") # 确保至少有10行数据（基础验证） if len(data) == 0: raise ValueError("❌ 加载的数据为空，请检查文件内容是否有效。") print(f"📊 数据形状：{data.shape}（{len(data)} 行 × {len(data.columns)} 列）") # ------------------------------- # 第二步：基础质量探查 # ------------------------------- # 完整性检查 print("\n🔍 完整性检查（缺失值统计）：") missing_data = data.isnull().sum() print(missing_data) if missing_data.sum() == 0: print("✅ 无缺失值。") else: print("⚠️ 存在缺失值，建议后续插补或剔除。") # 准确性检查：描述性统计 + 物理合理性初筛 print("\n📏 描述性统计（重点关注极值）：") desc = data.describe() print(desc.loc[['min', 'max', 'mean']].T.round(3)) # 示例常识校验（可扩展） checks = { "alcohol": (0, 25), # 酒精含量：0–25 %vol 合理 "pH": (2.5, 4.5), # pH：葡萄酒典型范围 "volatile acidity": (0, 2), # 挥发酸：一般 <1.5 g/L，>2 极罕见 } print("\n🧪 常识范围校验（超出即标记）：") for col, (low, high) in checks.items(): if col in data.columns: outliers = data[(data[col] < low) | (data[col] > high)] if len(outliers) > 0: print(f" ⚠️ {col}: {len(outliers)} 个值超出合理范围 [{low}, {high}]") else: print(f" ✅ {col}: 全部在合理范围内") # 箱线图可视化（自动适配所有数值列） plt.figure(figsize=(14, 8)) num_cols = data.select_dtypes(include=[np.number]).columns.tolist() sns.boxplot(data=data[num_cols]) plt.title("数值型变量箱线图（识别离群点）", fontsize=14) plt.xticks(rotation=45, ha='right') plt.tight_layout() plt.show() # 一致性检查（重复行） duplicates = data.duplicated().sum() print(f"\n🔄 重复行数量：{duplicates}") if duplicates > 0: print("⚠️ 建议执行 data.drop_duplicates() 去重。") else: print("✅ 无重复行。") # ------------------------------- # 第三步：控制图分析（I-MR Chart） # ------------------------------- # 自动选择首个数值列作为默认分析变量（可手动修改） default_var = num_cols[0] # 如需指定，改为：default_var = "fixed acidity" print(f"\n📈 控制图分析变量：'{default_var}'") values = data[default_var].values # I 图 plt.figure(figsize=(12, 6)) plt.plot(values, 'o-', markersize=3, alpha=0.7, label=f'{default_var} 序列') mean_i = np.mean(values) std_i = np.std(values, ddof=1) UCL_i = mean_i + 3 * std_i LCL_i = mean_i - 3 * std_i plt.axhline(mean_i, color='black', linestyle='--', label=f'均值 = {mean_i:.3f}') plt.axhline(UCL_i, color='red', linestyle='--', label=f'UCL = {UCL_i:.3f}') plt.axhline(LCL_i, color='red', linestyle='--', label=f'LCL = {LCL_i:.3f}') plt.title(f"I 图：{default_var}（单值控制图）", fontsize=14) plt.xlabel("样本序号") plt.ylabel(default_var) plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show() # MR 图 n = len(values) mr_vals = np.abs(np.diff(values)) mr_mean = np.mean(mr_vals) # 使用近似系数：MR控制限 ≈ MR̄ ± 3 × MR̄ × 0.954（对应 n=2 的 d3/d2） UCL_mr = mr_mean + 3 * mr_mean * 0.954 LCL_mr = max(0, mr_mean - 3 * mr_mean * 0.954) plt.figure(figsize=(12, 4)) plt.bar(range(1, n+1), [0] + mr_vals.tolist(), color='lightblue', alpha=0.7, label='移动极差') plt.axhline(mr_mean, color='black', linestyle='--', label=f'MR̄ = {mr_mean:.3f}') plt.axhline(UCL_mr, color='red', linestyle='--', label=f'UCL_MR = {UCL_mr:.3f}') plt.axhline(LCL_mr, color='red', linestyle='--', label=f'LCL_MR = {LCL_mr:.3f}') plt.title("MR 图（移动极差控制图）", fontsize=14) plt.xlabel("样本间隔") plt.ylabel("移动极差") plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show() # 异常点统计 out_of_control_i = ((values > UCL_i) | (values < LCL_i)).sum() print(f"🔎 I图异常点数：{out_of_control_i}") # ------------------------------- # 第四步：多变量逻辑检验（挥发性酸度 vs 质量） # ------------------------------- # 相关性矩阵（聚焦 quality） if 'quality' in data.columns: corr_with_quality = data.corr()[['quality']].sort_values(by='quality', ascending=False) print("\n🔗 与 'quality' 的相关性（降序）：") print(corr_with_quality.round(3)) # 散点图（挥发性酸度 vs quality） if 'volatile acidity' in data.columns and 'quality' in data.columns: plt.figure(figsize=(8, 6)) sns.scatterplot(x="volatile acidity", y="quality", data=data, alpha=0.6, s=30) sns.regplot(x="volatile acidity", y="quality", data=data, scatter=False, color='red', lowess=True, line_kws={'lw':2}) plt.title("'volatile acidity' vs 'quality'（领域逻辑检验）", fontsize=14) plt.xlabel("Volatile Acidity (g/dm³)") plt.ylabel("Quality Score") plt.grid(True, alpha=0.3) plt.tight_layout() plt.show() # 逻辑异常点：高酸 + 高质 high_acid_high_quality = data[ (data['volatile acidity'] > 0.8) & (data['quality'] >= 6) ] print(f"💡 逻辑异常点（volatile acidity > 0.8 且 quality ≥ 6）：{len(high_acid_high_quality)} 个") # ------------------------------- # 第五步：总结输出（结构化报告） # ------------------------------- print("\n" + "="*70) print("📋【质量管理课程作业】数据质量评估报告".center(70)) print("="*70) print(f"📁 数据源：{file_path}") print(f"🔢 样本量：{len(data)}") print(f"📉 缺失值：{missing_data.sum()}") print(f"🔁 重复行：{duplicates}") print(f"🎯 I图异常点：{out_of_control_i}") print(f"🧩 逻辑矛盾点：{len(high_acid_high_quality) if 'high_acid_high_quality' in locals() else 'N/A'}") print("\n✅ 建议摘要：") print("• 使用者：优先处理控制图异常点及逻辑矛盾数据，提升建模可靠性；") print("• 生产者：应在采集环节嵌入SPC监控与领域规则校验（如：if volatile_acidity>1.2 → 报警）；") print("• 元数据：强烈建议补充采集时间、设备ID、操作员等信息，满足GB/T 36344-2018可追溯性要求。") print("\n✅ 本报告严格遵循《质量管理课程教学延伸建议》中'方向五'全部步骤与格式规范。") ```