Python 数据处理是数据分析、数据科学和城市数据分析等领域的重要基础技能。掌握基础的数据处理方法可以显著提高处理效率，同时为后续分析提供可靠的数据基础。以下内容将介绍 Python 数据处理入门的基础知识，并结合小旭学长的系列文章进行说明。 ### 数据处理常用库 Python 提供了多个用于数据处理的第三方库，其中最常用的是 `pandas`、`numpy` 和 `matplotlib`。这些库能够高效地处理结构化数据，进行数据清洗、转换和可视化。 - `pandas` 提供了 `DataFrame` 和 `Series` 两种核心数据结构，适合处理表格型数据。 - `numpy` 提供了高效的多维数组对象 `ndarray`，并支持线性代数运算。 - `matplotlib` 是一个基础的绘图库，可用于生成各种静态、动态和交互式图表。 ```python import pandas as pd import numpy as np import matplotlib.pyplot as plt ``` ### 数据读取与写入 数据处理的第一步通常是读取原始数据。`pandas` 支持多种数据格式的读取，包括 CSV、Excel、SQL 数据库等。以下是一个读取 CSV 文件的示例： ```python # 读取 CSV 文件 df = pd.read_csv('data.csv') # 显示前几行数据 print(df.head()) # 写入 CSV 文件 df.to_csv('output.csv', index=False) ``` ### 数据清洗 数据清洗是数据处理中的关键步骤，通常包括缺失值处理、重复值删除和异常值处理。 - **缺失值处理**：可以通过删除缺失值或填充缺失值来处理。 - **重复值处理**：使用 `drop_duplicates()` 删除重复行。 - **异常值处理**：可以使用统计方法或可视化方法识别并处理异常值。 ```python # 检查缺失值 print(df.isnull().sum()) # 填充缺失值 df.fillna(0, inplace=True) # 删除重复值 df.drop_duplicates(inplace=True) ``` ### 数据转换 数据转换包括类型转换、数据标准化和数据编码等操作。例如，将字符串类型转换为数值类型，或者对数据进行标准化处理以适应模型要求。 ```python # 类型转换 df['column_name'] = df['column_name'].astype(float) # 数据标准化 from sklearn.preprocessing import StandardScaler scaler = StandardScaler() df_scaled = scaler.fit_transform(df[['column_name']]) ``` ### 数据可视化 数据可视化是理解数据分布和趋势的重要手段。`matplotlib` 和 `seaborn` 是常用的可视化库。 ```python # 绘制直方图 df['column_name'].plot.hist() plt.show() ``` ### 提高数据处理速度 在处理大规模数据时，可以使用以下方法提高效率： - 使用向量化操作代替循环。 - 使用 `dask` 库处理超出内存限制的数据。 - 利用多核 CPU 进行并行计算。 ```python # 向量化操作示例 df['new_column'] = df['column_name'] * 2 ``` ### 城市数据分析案例 在城市数据分析中，可以使用 `pandas` 和 `geopandas` 处理地理空间数据。例如，分析城市人口密度、交通流量等。 ```python import geopandas as gpd # 读取地理空间数据 gdf = gpd.read_file('city_boundaries.geojson') # 显示数据 print(gdf.head()) ```