由于没有具体的站内引用内容，以下是一个通用的使用 Python 模拟结合类似 DataWorkers 概念进行数据中台数据清洗的案例。假设数据中台存储的数据为一个 CSV 文件，包含一些用户信息，存在缺失值、重复数据和异常值等问题，需要进行清洗。 ```python import pandas as pd # 读取数据中台的数据，这里假设是一个 CSV 文件 data = pd.read_csv('data_from_data_middleware.csv') # 查看数据的基本信息 print("数据基本信息：") data.info() # 检查缺失值 missing_values = data.isnull().sum() print("各列缺失值数量：") print(missing_values) # 处理缺失值，这里简单地用列均值填充数值列，用 '未知' 填充非数值列 for column in data.columns: if data[column].dtype == 'object': data[column] = data[column].fillna('未知') else: data[column] = data[column].fillna(data[column].mean()) # 检查重复数据 duplicate_rows = data.duplicated() print("重复数据数量：", duplicate_rows.sum()) # 处理重复数据，直接删除重复行 data = data.drop_duplicates() # 检查异常值，这里以数值列为例，假设异常值为超过均值 3 倍标准差的值 for column in data.select_dtypes(include=['number']).columns: mean = data[column].mean() std = data[column].std() upper_limit = mean + 3 * std lower_limit = mean - 3 * std data = data[(data[column] >= lower_limit) & (data[column] <= upper_limit)] # 保存清洗后的数据 data.to_csv('cleaned_data.csv', index=False) print("数据清洗完成，清洗后的数据已保存为 cleaned_data.csv") ``` ### 代码解释 1. **数据读取**：使用 `pandas` 的 `read_csv` 函数读取数据中台的数据文件。 2. **缺失值处理**：检查各列的缺失值数量，对于数值列用列均值填充，对于非数值列用 '未知' 填充。 3. **重复数据处理**：检查重复数据的数量，并使用 `drop_duplicates` 函数删除重复行。 4. **异常值处理**：对于数值列，计算均值和标准差，将超过均值 3 倍标准差的值视为异常值并删除。 5. **数据保存**：将清洗后的数据保存为新的 CSV 文件。