要用Python生成一个模拟数据集并完成ETL（Extract, Transform, Load）操作，你可以按照以下步骤进行： ### 第一步：生成模拟数据 可以使用`pandas`库结合`numpy`来生成模拟的数据。 ```python import pandas as pd import numpy as np # 设定随机种子以便结果可复现 np.random.seed(0) # 创建模拟数据框 data = { 'ID': range(1, 101), 'Age': np.random.randint(18, 65, size=100), 'Salary': np.random.uniform(20000, 150000, size=100).round(2) } df = pd.DataFrame(data) print(df.head()) ``` 这里创建了一个包含员工编号、年龄和工资的简单数据表。 ### 第二步：提取 (E) - Extract 数据 从上述创建的数据帧中我们可以假设它已经是从某个数据库或其他来源获取来的原始数据。 ```python raw_data = df.copy() print("原始数据:\n", raw_data.head()) ``` ### 第三步：转换 (T) - Transform 数据 对数据做一些必要的清理或增强工作。例如删除异常值、填补缺失值等。 ```python def transform_dataframe(raw_df): # 转换函数例子: 过滤掉薪资低于最低阈值的情况，并增加一列表示税后收入。 transformed_df = raw_df[raw_df['Salary'] > 30000].copy() # 简单过滤条件 # 添加新字段 TaxableIncome 表示减去固定税率后的金额 tax_rate = 0.2 # 假设所得税率为20% transformed_df['TaxableIncome'] = transformed_df['Salary'] * (1-tax_rate) return transformed_df.round({'TaxableIncome': 2}) transformed_data = transform_dataframe(raw_data) print("\n转化后的数据前五行:\n", transformed_data.head()) ``` ### 第四步：加载 (L) - Load 数据到目标存储位置 最后将处理过的DataFrame保存成CSV文件作为“加载”过程的一部分。 ```python output_path = './processed_employee_data.csv' transformed_data.to_csv(output_path, index=False) print(f"\n已成功导出至 {output_path}") ``` 以上就是如何利用Python构建简单的模拟数据以及完成基本的ETL流程的过程演示了！