在处理中国农作物生长发育和农田土壤湿度旬值数据集时，数据清洗是确保数据质量、提升分析结果准确性的关键步骤。由于农业数据通常来自多源渠道（如遥感、传感器、气象站等），其结构复杂且可能存在缺失值、异常值、重复记录等问题，因此需要系统性地进行数据预处理。 ### 数据清洗步骤及Python实现方法 #### 1. 数据导入与初步检查 首先使用 `pandas` 库加载数据，并查看数据的基本信息，包括字段名、缺失值数量、数据类型等。 ```python import pandas as pd # 加载数据 df = pd.read_csv('crop_soil_data.csv') # 查看前几行数据 print(df.head()) # 查看数据基本信息 print(df.info()) # 检查缺失值情况 print(df.isnull().sum()) ``` #### 2. 处理缺失值 农业数据集中常见缺失值问题，处理方式包括删除缺失记录、填充缺失值或使用插值法。 ```python # 删除缺失值过多的列 df.dropna(thresh=int(len(df) * 0.7), axis=1, inplace=True) # 填充数值型缺失值（例如使用均值或中位数） df.fillna(df.mean(numeric_only=True), inplace=True) # 使用线性插值填充时间序列数据 df.interpolate(method='linear', inplace=True) ``` #### 3. 处理异常值 农作物生长和土壤湿度数据可能存在传感器误差或记录错误。可以使用Z-score、IQR等方法识别并处理异常。 ```python from scipy import stats import numpy as np # 使用Z-score检测异常值 z_scores = stats.zscore(df.select_dtypes(include=np.number)) abs_z_scores = np.abs(z_scores) filtered_entries = (abs_z_scores < 3).all(axis=1) df = df[filtered_entries] ``` #### 4. 数据类型转换与标准化 确保字段类型正确，如将日期字段转换为 `datetime` 类型，数值字段转换为浮点型或整型，并对数据进行标准化处理。 ```python # 转换日期字段 df['date'] = pd.to_datetime(df['date']) # 转换数值字段 df['soil_moisture'] = pd.to_numeric(df['soil_moisture'], errors='coerce') # 标准化数值字段 from sklearn.preprocessing import StandardScaler scaler = StandardScaler() df[['soil_moisture', 'temperature']] = scaler.fit_transform(df[['soil_moisture', 'temperature']]) ``` #### 5. 处理重复记录 去除重复数据以避免分析偏差。 ```python df.drop_duplicates(inplace=True) ``` #### 6. 时间序列数据格式整理 农业数据通常按旬值记录，需确保时间格式统一，并按时间排序。 ```python # 确保时间字段为datetime类型 df['旬值'] = pd.to_datetime(df['旬值']) # 按时间排序 df.sort_values('旬值', inplace=True) ``` #### 7. 地理与作物信息一致性检查 确保作物种类、地区编码、土壤类型等字段的一致性，避免因拼写错误或分类不一致导致的分析误差。 ```python # 检查作物种类唯一值 print(df['crop_type'].unique()) # 统一作物名称（如将“小麦1”、“小麦2”统一为“小麦”） df['crop_type'] = df['crop_type'].str.replace('小麦.*', '小麦', regex=True) ``` #### 8. 数据集合并与关联 如果数据集来自多个来源，可以使用 `merge` 或 `concat` 合并数据。 ```python # 合并两个数据集 df_merged = pd.merge(df1, df2, on=['date', 'location'], how='inner') ``` #### 9. 保存清洗后的数据 最后将清洗后的数据保存为新的文件以供后续建模或分析使用。 ```python df.to_csv('cleaned_crop_soil_data.csv', index=False) ``` ---