Python 是数据处理领域最流行的语言之一，拥有丰富的库生态系统。常见的数据处理任务通常会结合多个库来完成，以下是几种常用的库组合及其用途和示例代码。 --- ### 常用 Python 数据处理库组合及使用方式： #### 1. **Pandas + NumPy** - **用途**：进行结构化数据（如 CSV、Excel、数据库）的清洗、转换、分析。 - **特点**：Pandas 提供 DataFrame，NumPy 提供高效的数组运算。 - **示例代码**： ```python import pandas as pd import numpy as np # 读取数据 df = pd.read_csv("data.csv") # 数据清洗：填充缺失值 df.fillna(0, inplace=True) # 添加新列 df["total"] = df["quantity"] * df["price"] # 分组统计 summary = df.groupby("category")["total"].sum() print(summary) ``` --- #### 2. **Pandas + Matplotlib / Seaborn** - **用途**：数据分析后的可视化展示。 - **示例代码**： ```python import pandas as pd import matplotlib.pyplot as plt import seaborn as sns df = pd.read_csv("sales.csv") # 绘制柱状图 sns.barplot(x="category", y="total_sales", data=df) plt.title("Sales by Category") plt.show() ``` --- #### 3. **NumPy + Scikit-learn** - **用途**：进行机器学习前的数据预处理和建模。 - **示例代码**： ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression # 生成数据 X = np.random.rand(100, 1) * 10 y = 2 * X.squeeze() + 3 + np.random.randn(100) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 模型训练 model = LinearRegression() model.fit(X_train, y_train) # 预测 print("预测系数:", model.coef_) ``` --- #### 4. **Dask + Pandas** - **用途**：当数据量超过内存限制时，使用 Dask 进行并行/分布式数据处理。 - **示例代码**： ```python import dask.dataframe as dd # 读取大文件 df = dd.read_csv("big_data.csv") # 分组统计 result = df.groupby("category")["sales"].sum().compute() print(result) ``` --- #### 5. **Pandas + SQLAlchemy** - **用途**：将数据库中的数据读入 DataFrame 中进行处理。 - **示例代码**： ```python import pandas as pd from sqlalchemy import create_engine # 创建数据库连接 engine = create_engine("sqlite:///example.db") connection = engine.connect() # 从数据库读取数据 query = "SELECT * FROM sales" df = pd.read_sql(query, connection) # 处理数据 df["revenue"] = df["units"] * df["price"] # 写回数据库 df.to_sql("processed_sales", con=engine, if_exists="replace", index=False) ``` --- ### 总结 - **Pandas** 是核心数据处理工具。 - **NumPy** 提供底层数值计算支持。 - **Matplotlib / Seaborn** 用于可视化。 - **Scikit-learn** 用于机器学习预处理和建模。 - **Dask** 用于处理超出内存的大数据。 - **SQLAlchemy** 用于与数据库交互。 ---