### 数据采集与预处理库 对于数据采集和预处理的任务，Python 提供了多个强大而灵活的库来支持这些需求。 #### Pandas 和 Numpy 的角色 Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析），是一个用于数据分析和操作的强大工具[^1]。它提供了高效的数据结构如 DataFrame 来存储表格型数据，并且内置了许多功能来进行数据读取、写入、清理和转换等操作。Numpy 则专注于数值计算，提供多维数组对象及其派生的对象集合，包括 masked array 和 matrix 对象，这使得大规模数值运算变得简单快捷。 #### 使用 Scikit-Learn 进行预处理 Scikit-learn 是 Python 中进行机器学习和数据挖掘的一个非常强大的工具库[^3]。除了能够轻松实现多种机器学习算法外，scikit-learn 还包含了丰富的特征工程方法，可用于准备训练集之前的数据预处理工作。例如： ```python from sklearn.preprocessing import StandardScaler, OneHotEncoder import pandas as pd import numpy as np # 假设 df 是一个包含原始数据的 DataFrame df = pd.DataFrame({ 'age': [25, 30, None], 'income': [70000, 80000, 90000], 'gender': ['male', 'female', 'other'] }) # 处理缺失值 df['age'].fillna(df['age'].median(), inplace=True) # 数值列标准化 scaler = StandardScaler() numeric_features = ['age', 'income'] scaled_numeric_data = scaler.fit_transform(df[numeric_features]) df_scaled = pd.DataFrame(scaled_numeric_data, columns=numeric_features) # 类别变量编码 encoder = OneHotEncoder(drop='first') categorical_features = ['gender'] encoded_categorical_data = encoder.fit_transform(df[categorical_features]).toarray() df_encoded = pd.DataFrame(encoded_categorical_data, columns=[f'{col}_{cat}' for col, cats in zip(categorical_features, encoder.categories_) for cat in cats]) # 合并结果 final_df = pd.concat([df_scaled.reset_index(drop=True), df_encoded], axis=1) print(final_df.head()) ``` 这段代码展示了如何利用 `pandas` 清洗数据中的缺失值；接着用 `numpy` 或者直接使用 `sklearn.preprocessing.StandardScaler()` 完成对连续属性的标准缩放；最后采用独热编码的方式将分类属性转化为适合输入给机器学习模型的形式。