Python中的数据预处理是指在使用数据进行建模、分析或可视化之前，对所获取的原始数据进行一系列清洗、转换和集成的操作，旨在提高数据质量、统一数据格式，并使其适应后续算法的要求，是数据分析与机器学习流程中至关重要的一环 [ref_2][ref_3][ref_4]。 ### 一、数据预处理的核心步骤与解释 数据预处理通常不是单一操作，而是一个包含多个步骤的流程，主要目标是将“脏乱”的原始数据转化为“干净”且“可用”的数据集。 | 预处理步骤 | 主要目的 | 常见操作与问题 | | :--- | :--- | :--- | | **数据清洗** | 处理数据中的“噪声”和错误，保证基础数据质量。 | 处理缺失值（填充、删除）、处理异常值（识别、修正或删除）、处理重复数据（去重）[ref_4][ref_6]。 | | **数据集成与转换** | 将来自不同源的数据合并，并转换为一致的格式。 | 数据合并（`pd.merge`, `pd.concat`）、数据转换（数据类型转换、编码转换）[ref_5]。 | | **数据规约与特征工程** | 简化数据复杂度，并创建更有效的特征表示。 | 特征缩放（标准化、归一化）、离散化（分箱）、类别数据编码（独热编码、标签编码）、降维（PCA）[ref_1][ref_3][ref_5]。 | | **数据重塑与划分** | 将数据组织成算法需要的结构，并为模型评估做准备。 | 数据集划分（训练集、测试集）、数据重塑（`pivot`, `melt`）[ref_3]。 | ### 二、一个完整的简单案例：鸢尾花(Iris)数据集预处理 以下案例将演示一个从加载原始数据到完成预处理，最终准备好用于分类模型（如KNN）的完整流程。 #### 1. 加载与探索原始数据 首先，我们加载数据并查看其原始状态，这是预处理的起点。 ```python import pandas as pd from sklearn.datasets import load_iris import numpy as np # 1. 加载鸢尾花数据集 iris = load_iris() # 将数据转换为DataFrame，便于pandas操作 df = pd.DataFrame(data=iris.data, columns=iris.feature_names) df['target'] = iris.target # 添加目标列（花的种类） print("【1. 数据概览】") print(f"数据形状: {df.shape}") # 查看数据维度 (150行, 5列) print("\n前5行数据:") print(df.head()) print("\n基本信息（数据类型、非空计数）:") print(df.info()) print("\n统计摘要:") print(df.describe()) ``` 运行上述代码，你会发现数据集中有4个数值型特征（花萼和花瓣的长宽）和1个目标标签，且**没有缺失值**。这是理想情况，但现实数据往往更复杂。 #### 2. 模拟并处理数据问题（数据清洗） 为了让案例更贴近实际，我们人为引入一些“脏数据”，然后进行清洗。 ```python # 2. 人为制造一些数据问题，模拟真实场景 np.random.seed(42) # 确保可重复性 df_dirty = df.copy() # a) 随机插入一些缺失值 (NaN) mask_missing = np.random.rand(*df_dirty.shape) < 0.05 # 5%的数据点为缺失 df_dirty[mask_missing] = np.nan # b) 在‘sepal length (cm)’特征中插入几个异常值 df_dirty.loc[[10, 50, 100], 'sepal length (cm)'] = [20.0, -5.0, 30.0] # c) 插入几条完全重复的行 duplicate_rows = df_dirty.sample(3, random_state=42) df_dirty = pd.concat([df_dirty, duplicate_rows], ignore_index=True) print("【2. 引入‘脏数据’后的情况】") print(f"脏数据形状: {df_dirty.shape}") print(f"\n缺失值数量:\n{df_dirty.isnull().sum()}") print(f"\n‘sepal length (cm)’的异常值检查（>15 or <0）:") print(df_dirty[(df_dirty['sepal length (cm)'] > 15) | (df_dirty['sepal length (cm)'] < 0)][['sepal length (cm)']]) print(f"\n重复行数量: {df_dirty.duplicated().sum()}") # 3. 数据清洗操作 print("\n【3. 执行数据清洗】") # a) 处理重复数据：删除完全相同的行 df_clean = df_dirty.drop_duplicates() print(f"删除重复行后，数据形状: {df_clean.shape}") # b) 处理异常值：这里采用“盖帽法”（Winsorization），将极端值替换为指定分位数 def cap_outliers(series, lower_quantile=0.01, upper_quantile=0.99): lower_limit = series.quantile(lower_quantile) upper_limit = series.quantile(upper_quantile) return series.clip(lower=lower_limit, upper=upper_limit) df_clean['sepal length (cm)'] = cap_outliers(df_clean['sepal length (cm)']) print("已处理‘sepal length (cm)’的异常值。") # c) 处理缺失值：数值列用中位数填充，目标列用众数填充（或删除，这里演示填充） from sklearn.impute import SimpleImputer # 分离特征和目标 X = df_clean.drop('target', axis=1) y = df_clean['target'] # 对特征进行中位数填充 imputer = SimpleImputer(strategy='median') X_imputed = imputer.fit_transform(X) X_clean = pd.DataFrame(X_imputed, columns=X.columns) # 对目标进行众数填充（如果是分类问题） y_imputed = y.fillna(y.mode()[0]) df_clean = pd.concat([X_clean, y_imputed], axis=1) print(f"填充缺失值后，缺失值数量:\n{df_clean.isnull().sum().sum()}") # 应为0 ``` 通过以上步骤，我们完成了数据清洗，处理了重复值、异常值和缺失值 [ref_4][ref_6]。 #### 3. 特征缩放（数据转换） 许多机器学习算法（如KNN、SVM）对特征的尺度敏感，需要进行标准化或归一化。 ```python # 4. 特征缩放 (使用标准化：Z-score) from sklearn.preprocessing import StandardScaler # 再次分离特征和目标 X_final = df_clean.drop('target', axis=1) y_final = df_clean['target'] scaler = StandardScaler() X_scaled = scaler.fit_transform(X_final) # 计算均值和标准差，并转换数据 X_scaled_df = pd.DataFrame(X_scaled, columns=X_final.columns) print("【4. 特征缩放（标准化）后】") print("前5行缩放后的特征数据:") print(X_scaled_df.head()) print(f"\n缩放后各特征的均值（应接近0）:\n{X_scaled_df.mean()}") print(f"\n缩放后各特征的标准差（应接近1）:\n{X_scaled_df.std()}") ``` 标准化使每个特征的平均值为0，标准差为1，有助于提升基于距离的算法的性能 [ref_1][ref_3][ref_5]。 #### 4. 数据集划分 最后，将处理好的数据划分为训练集和测试集，用于模型训练和评估。 ```python # 5. 数据集划分 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X_scaled_df, y_final, test_size=0.2, random_state=42, stratify=y_final ) print("【5. 最终数据集划分】") print(f"训练集特征形状: {X_train.shape}, 训练集标签形状: {y_train.shape}") print(f"测试集特征形状: {X_test.shape}, 测试集标签形状: {y_test.shape}") print(f"\n训练集中各类别样本分布:\n{y_train.value_counts(normalize=True)}") print(f"测试集中各类别样本分布:\n{y_test.value_counts(normalize=True)}") ``` `stratify=y_final` 参数确保了训练集和测试集中各类别的比例与原始数据集一致，这在类别不平衡时尤为重要 [ref_3]。 ### 三、总结与要点 通过以上案例，我们可以看到Python中的数据预处理是一个**系统性的管道（Pipeline）**： 1. **始于探索**：了解数据形状、类型和分布。 2. **核心是清洗**：解决缺失、异常、重复等数据质量问题 [ref_4][ref_6]。 3. **重在转换**：通过缩放、编码等方式使数据适应模型 [ref_1][ref_5]。 4. **终于划分**：为模型训练与评估做好准备 [ref_3]。 这个流程极大依赖于 `pandas`（用于数据操作和清洗）和 `scikit-learn`（用于特征缩放、编码和划分）等库。在实际项目中，这些步骤通常会封装成可复用的函数或使用 `scikit-learn` 的 `Pipeline` 对象进行自动化，以确保处理过程的一致性和效率。