Pandas 是一个基于 Python 的强大数据处理库，其核心围绕两个数据结构展开：**Series** 和 **DataFrame**。本文将结合具体示例，快速梳理其最核心、最常用的操作，旨在让读者在最短时间内掌握其精髓 [ref_1][ref_5]。 ### 一、核心数据结构 Pandas 的威力源于其两种核心数据结构，理解它们是高效使用该库的基础。 | 数据结构 | 类比 | 维度 | 核心特点 | | :--- | :--- | :--- | :--- | | **Series** | 带标签的一维数组 | 1D | 由一组数据和与之关联的索引（index）组成，可视为 DataFrame 中的一列或一行 [ref_1]。 | | **DataFrame** | 带标签的二维表格 | 2D | 由多个 Series 组成，可以看作是一个 Excel 工作表或 SQL 数据表，是数据分析的主要对象 [ref_1][ref_2]。 | **创建示例：** ```python import pandas as pd # 创建 Series s = pd.Series([10, 20, 30, 40], index=['a', 'b', 'c', 'd']) print(s) # 输出： # a 10 # b 20 # c 30 # d 40 # dtype: int64 # 创建 DataFrame df = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'City': ['Beijing', 'Shanghai', 'Guangzhou'] }) print(df) # 输出： # Name Age City # 0 Alice 25 Beijing # 1 Bob 30 Shanghai # 2 Charlie 35 Guangzhou ``` ### 二、数据读取与查看 数据读取是分析的起点。Pandas 支持多种格式，如 CSV、Excel、JSON 等。 ```python # 读取 CSV 文件 [ref_1] df = pd.read_csv('./data/file.csv') # 读取 TSV（制表符分隔）文件 [ref_1] df = pd.read_csv('./data/file.tsv', sep='\t') # 查看数据的基本信息 print(df.head()) # 查看前5行 [ref_1] print(df.tail(3)) # 查看后3行 print(df.info()) # 查看数据结构、数据类型和内存信息 [ref_1] print(df.describe()) # 生成数值型列的统计摘要（计数、均值、标准差等） [ref_1] print(df.shape) # 查看数据形状（行数， 列数） [ref_1] print(df.columns) # 查看所有列名 [ref_1] ``` ### 三、数据选择与索引 这是 Pandas 操作中最频繁的部分，主要通过 `loc` (基于标签) 和 `iloc` (基于位置) 实现。 | 操作目标 | 方法 | 代码示例 (假设 df 为示例 DataFrame) | | :--- | :--- | :--- | | **选择单列** | `df[‘列名’]` | `df[‘Age’]` | | **选择多列** | `df[[‘列名1‘， ‘列名2’]]` | `df[[‘Name‘， ‘City’]]` [ref_1] | | **基于标签选择行** | `df.loc[行标签]` | `df.loc[0]` (选择第一行，返回Series) | | **基于标签选择行列** | `df.loc[行标签， 列标签]` | `df.loc[0， ‘Name’]` (选择第一行的Name值) | | **基于位置选择行** | `df.iloc[行位置]` | `df.iloc[-1]` (选择最后一行) [ref_1] | | **基于位置选择行列** | `df.iloc[行位置， 列位置]` | `df.iloc[1， 0]` (选择第二行，第一列) | | **切片选择行** | `df[起始:结束]` | `df[2:5]` (选择第3到第5行，不包含第5行) [ref_1] | | **布尔索引** | `df[条件]` | `df[df[‘Age’] > 30]` (选择年龄大于30的行) [ref_1] | ```python # 示例：使用 loc 和 iloc 进行切片 [ref_1] # 假设 china_df 是一个 DataFrame，行标签为年份，列名为 ['country', 'pop', 'gdpPercap', 'lifeExp'] # 选择前三行的前三列 df_label_slice = china_df.loc[1952:1962, 'country':'lifeExp'] # 基于标签，包含结束标签 df_position_slice = china_df.iloc[0:3, 0:3] # 基于位置，不包含结束位置 ``` ### 四、数据清洗与处理 真实数据往往存在缺失、重复或格式问题，清洗是必须步骤。 | 操作 | 方法 | 代码示例 | | :--- | :--- | :--- | | **处理缺失值** | `df.isnull()` / `df.notnull()` | `df.isnull().sum()` 统计每列缺失值数量 [ref_4] | | **删除缺失值** | `df.dropna()` | `df.dropna(subset=[‘Age’])` 删除 Age 列为空的行 | | **填充缺失值** | `df.fillna()` | `df[‘Age’].fillna(df[‘Age’].mean(), inplace=True)` 用均值填充 [ref_2][ref_4] | | **删除重复行** | `df.drop_duplicates()` | `df.drop_duplicates(subset=[‘Name’], keep=‘first’)` [ref_3] | | **重命名列** | `df.rename()` | `df.rename(columns={‘old_name‘: ’new_name’})` [ref_1] | | **更改数据类型** | `df.astype()` | `df[‘Age’] = df[‘Age’].astype(‘int64’)` | | **替换值** | `df.replace()` | `df[‘City’].replace({‘BJ‘: ’Beijing’}, inplace=True)` | ### 五、数据转换与计算 Pandas 支持向量化运算，效率极高。 | 操作 | 方法 | 说明 | | :--- | :--- | :--- | | **列间运算** | 直接使用运算符 | `df[‘New_Col’] = df[‘Col1’] + df[‘Col2’]` | | **应用函数** | `apply()` | `df[‘Name_Upper’] = df[‘Name’].apply(lambda x: x.upper())` [ref_2] | | **分组聚合** | `groupby()` | `df.groupby(‘City’)[‘Age’].mean()` 计算每个城市的平均年龄 [ref_2][ref_3] | | **排序** | `sort_values()` | `df.sort_values(by=‘Age’, ascending=False)` 按年龄降序排序 [ref_3] | ```python # 分组聚合示例 grouped = df.groupby('City') print(grouped['Age'].mean()) # 计算每个城市的平均年龄 print(grouped['Age'].agg(['mean', 'count', 'max'])) # 同时计算多个聚合指标 [ref_3] ``` ### 六、数据合并与连接 当数据来源不同时，需要合并。 | 操作 | 方法 | 类比 | | :--- | :--- | :--- | | **纵向拼接** | `pd.concat([df1, df2])` | SQL UNION ALL [ref_2][ref_3] | | **横向连接** | `pd.merge(df1, df2, on=‘key’)` | SQL JOIN (默认INNER JOIN) [ref_2][ref_3] | | **按索引连接** | `df1.join(df2)` | 基于索引的合并 | ```python # 合并示例 df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]}) df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]}) # 内连接 inner_merged = pd.merge(df1, df2, on='key', how='inner', suffixes=('_left', '_right')) # 左连接 left_merged = pd.merge(df1, df2, on='key', how='left') ``` ### 七、时间序列处理 Pandas 对时间序列有原生支持，功能强大 [ref_6]。 ```python # 将字符串列转换为 datetime 类型 df['Date'] = pd.to_datetime(df['date_string_column']) # 设置为索引 df.set_index('Date', inplace=True) # 按时间频率重采样，例如将日数据聚合为月平均值 monthly_mean = df['value_column'].resample('M').mean() # 时间偏移（增加/减少分钟数）[ref_6] df['new_time'] = df['timestamp_column'] + pd.Timedelta(minutes=30) ``` 通过掌握以上七个方面的核心操作，你已经能够应对日常数据分析中 80% 以上的场景。关键在于多实践，将这些操作组合运用，以解决具体的数据处理问题。