Pandas 是一个基于 Python 编程语言，为数据操作和分析提供高性能、易用数据结构和工具的软件库。其核心数据结构是 **DataFrame**（二维表格）和 **Series**（一维数组），这使得处理表格型或异构数据变得异常高效和直观[ref_1]。 ### 一、 核心数据结构与数据读取/写入 #### 1.1 DataFrame 与 Series DataFrame 可视为一个由多个 Series 组成的字典，每个 Series 代表一列数据。它既有行索引（index）也有列索引（columns）。 ```python import pandas as pd # 创建 DataFrame data = {'姓名': ['张三', '李四', '王五'], '年龄': [25, 30, 35], '城市': ['北京', '上海', '广州']} df = pd.DataFrame(data) print(df) ``` #### 1.2 从多种数据源读取数据 Pandas 提供了丰富的 `read_*` 函数族来读取数据。 | 数据源类型 | 主要函数 | 关键参数示例 | 应用场景 | | :--- | :--- | :--- | :--- | | **CSV/文本文件** | `pd.read_csv()` | `sep`, `header`, `encoding`, `dtype` | 读取最常见的结构化文本数据 | | **Excel文件** | `pd.read_excel()` | `sheet_name`, `usecols`, `skiprows` | 处理来自办公软件的数据[ref_6] | | **SQL数据库** | `pd.read_sql()` | `sql`, `con` (数据库连接对象) | 直接从关系型数据库查询并加载数据[ref_1] | | **JSON** | `pd.read_json()` | `orient` | 处理 Web API 返回的 JSON 数据 | **示例：从 SQL 数据库读取数据** ```python import pandas as pd import sqlite3 # 创建数据库连接 conn = sqlite3.connect('example.db') # 执行 SQL 查询并直接转换为 DataFrame sql_query = "SELECT * FROM users WHERE age > 25" df_sql = pd.read_sql(sql_query, conn) # [ref_1] conn.close() ``` **示例：解析 Excel 文件的特定工作表** `ExcelFile` 类配合 `parse` 方法适用于需要重复读取同一文件不同工作表或控制内存使用的场景[ref_5]。 ```python # 使用 ExcelFile 对象高效处理多工作表 excel_file = pd.ExcelFile('data.xlsx') # 解析名为 ‘Sheet1’ 的工作表 df_sheet1 = excel_file.parse(sheet_name='Sheet1') # [ref_5] # 也可以使用 read_excel 快捷方式 df_sheet2 = pd.read_excel('data.xlsx', sheet_name='Sheet2') # [ref_6] ``` #### 1.3 数据写入 使用对应的 `to_*` 方法将 DataFrame 保存到文件或数据库。 ```python # 写入到 CSV df.to_csv('output.csv', index=False, encoding='utf-8-sig') # 写入到 Excel df.to_excel('output.xlsx', sheet_name='结果', index=False) # [ref_6] # 写入到 SQL 数据库 df.to_sql('table_name', con=conn, if_exists='replace', index=False) ``` ### 二、 数据查看、筛选与选择 #### 2.1 数据查看与基本信息 ```python df.head() # 查看前5行 df.tail(3) # 查看后3行 df.info() # 查看数据类型、非空值数量等摘要 df.describe() # 生成数值型列的统计摘要（计数、均值、标准差等） df.shape # 返回 (行数, 列数) df.columns # 查看列名列表 df.dtypes # 查看每列的数据类型 ``` #### 2.2 基于标签、位置和条件的筛选 Pandas 提供了 `loc`（基于标签）、`iloc`（基于整数位置）和布尔索引进行数据筛选。 ```python # 使用 loc 基于标签筛选 df.loc[0, '姓名'] # 获取第0行，‘姓名’列的值 -> ‘张三’ df.loc[df['年龄'] > 28, ['姓名', '城市']] # 筛选年龄>28的行，只显示姓名和城市列 # 使用 iloc 基于位置筛选 df.iloc[0, 1] # 获取第0行，第1列的值 -> 25 df.iloc[1:3, 0:2] # 获取第1到2行，第0到1列的数据（左闭右开） # 使用布尔索引进行条件筛选 high_age = df[df['年龄'] > 28] # 筛选出年龄大于28的所有行 beijing_people = df[df['城市'].str.contains('北京')] # 筛选城市包含‘北京’的行 ``` #### 2.3 高效筛选与修改单个值 对于精确访问或修改 DataFrame 或 Series 中的**单个值**，`at` 和 `iat` 比 `loc` 和 `iloc` 速度更快[ref_4]。 ```python # 使用 at 通过行列标签名访问/修改单个值 df.at[0, '年龄'] = 26 # 将第0行‘年龄’列的值修改为26 [ref_4] value = df.at[1, '姓名'] # 获取第1行‘姓名’列的值 -> ‘李四’ # 使用 iat 通过行列整数位置访问/修改单个值 df.iat[2, 2] = '深圳' # 将第2行第2列（城市）修改为‘深圳’ ``` #### 2.4 按数据类型筛选列 `select_dtypes()` 函数可以根据列的数据类型快速筛选列，这在数据清洗和特征工程中非常有用[ref_2]。 ```python # 选择所有数值型列（int, float） numeric_cols = df.select_dtypes(include=['int64', 'float64']) # 排除所有对象类型（通常是字符串）列 non_object_cols = df.select_dtypes(exclude=['object']) # 同时包含和排除 mixed_select = df.select_dtypes(include=['number'], exclude=['int64']) # [ref_2] ``` ### 三、 数据清洗与预处理 #### 3.1 处理缺失值 ```python df.isnull().sum() # 检查每列缺失值数量 df.dropna() # 删除包含缺失值的行 df.dropna(axis=1) # 删除包含缺失值的列 df.fillna(0) # 用0填充所有缺失值 df['列名'].fillna(df['列名'].mean(), inplace=True) # 用该列均值填充缺失值 ``` #### 3.2 数据类型转换 ```python df['列名'] = df['列名'].astype('int') # 转换为整数 df['日期列'] = pd.to_datetime(df['日期列']) # 转换为日期时间类型 ``` #### 3.3 删除重复值与重命名列 ```python df.drop_duplicates(inplace=True) # 删除完全重复的行 df.rename(columns={'旧名': '新名'}, inplace=True) # 重命名列 ``` ### 四、 数据整合与变形 #### 4.1 数据合并（Merge/Join） `pd.merge()` 是进行数据库风格连接（如内连接、左连接、外连接）的核心函数[ref_3]。 ```python # 模拟两个相关 DataFrame df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value_df1': [1, 2, 3]}) df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'value_df2': [4, 5, 6]}) # 内连接 (inner join)，只保留两个表都有的键 inner_merged = pd.merge(df1, df2, on='key', how='inner') # [ref_3] # 结果： key=B, C 的两行 # 左连接 (left join)，以左表为基准 left_merged = pd.merge(df1, df2, on='key', how='left') # [ref_3] # 结果： key=A, B, C 的三行，A对应的df2值为NaN # 外连接 (outer join)，保留所有键 outer_merged = pd.merge(df1, df2, on='key', how='outer') # [ref_3] # 结果： key=A, B, C, D 的四行 ``` #### 4.2 数据连接（Concat） `pd.concat()` 用于沿特定轴（行或列）简单堆叠多个 DataFrame 或 Series。 ```python # 沿行方向（axis=0）堆叠，增加行数 result_row = pd.concat([df1, df2], axis=0, ignore_index=True) # 沿列方向（axis=1）堆叠，增加列数 result_col = pd.concat([df1, df2], axis=1) ``` #### 4.3 数据透视（Pivot）与分组聚合（GroupBy） ```python # 分组聚合：按‘城市’分组，计算‘年龄’的平均值 grouped = df.groupby('城市')['年龄'].mean() # 数据透视表：创建以‘城市’为行，‘某分类’为列，汇总‘年龄’的透视表 pivot_table = df.pivot_table(values='年龄', index='城市', columns='某分类', aggfunc='sum') ``` ### 五、 实战技巧与性能优化 1. **向量化操作**：避免使用循环，直接对 Series 或 DataFrame 进行算术或逻辑运算，这是 Pandas 高性能的关键。 ```python # 高效：向量化操作 df['年龄_加一岁'] = df['年龄'] + 1 # 低效：使用循环 # for i in range(len(df)): df.loc[i, '年龄_加一岁'] = df.loc[i, '年龄'] + 1 ``` 2. **使用高效的数据类型**：如将字符串类别列转换为 `category` 类型，可以大幅节省内存并提升速度。 ```python df['城市'] = df['城市'].astype('category') ``` 3. **分块读取大文件**：处理大型 CSV 或 Excel 文件时，可使用 `chunksize` 参数分块读取，避免内存溢出[ref_1][ref_6]。 ```python chunk_iter = pd.read_csv('large_file.csv', chunksize=10000) for chunk in chunk_iter: process(chunk) # 对每个数据块进行处理 ``` 4. **查询优化**：对于复杂筛选，`query()` 方法有时比布尔索引更简洁高效。 ```python df.query('年龄 > 25 and 城市 == "北京"') ``` 掌握以上核心概念和操作，您就能使用 Pandas 应对绝大多数数据分析和处理任务。核心在于理解 DataFrame 的二维表格模型，并熟练运用基于标签/位置的索引、条件筛选以及强大的分组聚合和合并功能。