### 数据预处理示例 对于给定的任务，即对用户日用电量数据、用户基本信息表以及行业用电量数据进行预处理，下面提供了一组Python代码片段用于展示如何执行这些操作。此过程涉及到了`pandas`和`numpy`这两个强大的数据分析库。 #### 加载并查看初始数据结构 为了有效地进行后续的操作，先要加载各个表格，并初步了解其内容： ```python import pandas as pd import numpy as np # 假设路径如下所示；实际应用时应替换为真实文件位置。 daily_consumption_file = '../data/daily_consumption.csv' user_info_file = '../data/user_info.csv' industry_consumption_file = '../data/industry_consumption.csv' # 使用read_csv函数读取CSV格式的文件，如果文件是Excel，则使用pd.read_excel() daily_consumption = pd.read_csv(daily_consumption_file) user_info = pd.read_csv(user_info_file) industry_consumption = pd.read_csv(industry_consumption_file) print("Daily Consumption Data:") display(daily_consumption.head()) print("\nUser Info Data:") display(user_info.head()) print("\nIndustry Consumption Data:") display(industry_consumption.head()) ``` #### 合并不同源的数据 当涉及到多张表之间的关联时，可以通过共同字段来进行连接。这里假设所有记录都可通过唯一的用户ID(`UserID`)相联系： ```python merged_data = daily_consumption.merge( user_info, on="UserID", how="inner" ).merge( industry_consumption, on=["UserID", "Date"], # 如果日期也是匹配条件之一的话 how="left" # 左联接保留左侧所有的行即使右侧没有对应项也会被加入进来 ) # 查看合并后的前几条记录以确认结果正确无误 display(merged_data.head()) ``` #### 清洗缺失值或异常值 在现实世界中的数据集中经常会出现不完整的记录或者不合理数值的情况。因此，在进一步分析之前应当清理这些问题： ```python # 删除含有任何NaN值的行 cleaned_data = merged_data.dropna() # 或者更精细地控制哪些列不允许为空以及其他逻辑判断下的填充策略 for column in ["ElectricityConsumption", "Age"]: cleaned_data[column].fillna(cleaned_data[column].mean(), inplace=True) # 对某些特定列用均值填补NA # 处理极端异常值的例子（比如负数的日消耗） cleaned_data['ElectricityConsumption'] = cleaned_data['ElectricityConsumption'].apply(lambda x: max(x, 0)) # 展示清洗之后的结果 display(cleaned_data.describe()) # 统计描述帮助理解数据范围 ``` #### 创建新的特征变量 基于现有信息构建额外有用的指标可以帮助更好地解释现象背后的原因。例如计算线损率[^1]： ```python if 'InputPower' in cleaned_data.columns and 'OutputPower' in cleaned_data.columns: cleaned_data[u'LineLossRate'] = (cleaned_data[u'InputPower'] - cleaned_data[u'OutputPower']) / cleaned_data[u'InputPower'] else: print("Required columns not found.") # 将新增加的信息保存回磁盘以便将来重用 output_path = "../tmp/enhanced_electricity_data.csv" cleaned_data.to_csv(output_path, index=False) ``` 上述流程涵盖了从原始数据导入到最后导出增强版数据集的一系列典型步骤。当然，具体实施细节可能会依据实际情况有所调整。