# Pandas 知识点全面解析 Pandas 是 Python 中最受欢迎的数据分析库，提供了高效、灵活的数据结构，使得数据处理和分析变得简单直观。下面我将从核心数据结构、常用函数、应用场景等多个维度系统介绍 Pandas 的核心知识点。 ## 一、Pandas 核心数据结构 ### 1.1 Series Series 是 Pandas 中最基本的一维数据结构，类似于带标签的数组。 ```python import pandas as pd import numpy as np # 创建 Series s = pd.Series([1, 3, 5, np.nan, 6, 8]) print(s) # 通过字典创建 Series s_dict = pd.Series({'a': 1, 'b': 2, 'c': 3}) print(s_dict) ``` ### 1.2 DataFrame DataFrame 是 Pandas 中最重要的二维表格型数据结构，可以看作是由多个 Series 组成的字典。 ```python # 创建 DataFrame df = pd.DataFrame({ '姓名': ['张三', '李四', '王五', '赵六'], '年龄': [25, 30, 35, 28], '工资': [5000, 8000, 12000, 6000], '部门': ['技术部', '销售部', '技术部', '人事部'] }) print(df) ``` ## 二、数据读写操作 Pandas 支持多种数据格式的读写，这是数据分析的基础步骤 [ref_1]。 ### 2.1 常用读写函数 | 函数 | 功能描述 | 示例 | |------|----------|------| | `read_csv()` | 读取 CSV 文件 | `pd.read_csv('data.csv')` | | `read_excel()` | 读取 Excel 文件 | `pd.read_excel('data.xlsx')` | | `read_sql()` | 读取 SQL 数据库 | `pd.read_sql(query, connection)` | | `to_csv()` | 保存为 CSV | `df.to_csv('output.csv')` | | `to_excel()` | 保存为 Excel | `df.to_excel('output.xlsx')` | ```python # 读取 CSV 文件示例 df = pd.read_csv('employee_data.csv', encoding='utf-8') # 读取 Excel 文件 df_excel = pd.read_excel('financial_data.xlsx', sheet_name='Sheet1') # 保存处理后的数据 df.to_csv('processed_data.csv', index=False) ``` ## 三、数据查看与基本信息 ### 3.1 数据查看函数 ```python # 创建示例数据 data = { '产品': ['A', 'B', 'C', 'D', 'E'], '销量': [100, 150, 200, 180, 220], '单价': [10.5, 15.2, 8.7, 12.3, 9.8], '库存': [50, 30, 80, 40, 60] } df = pd.DataFrame(data) # 查看数据基本信息 print("前3行数据:") print(df.head(3)) print("\n数据形状:") print(df.shape) print("\n数据类型:") print(df.dtypes) print("\n数据描述性统计:") print(df.describe()) print("\n数据信息摘要:") print(df.info()) ``` ## 四、数据选取与筛选 数据选取是 Pandas 的核心功能之一，提供了多种灵活的数据访问方式 [ref_2]。 ### 4.1 基本选取方法 ```python # 列选取 names = df['产品'] # 单列 subset = df[['产品', '销量']] # 多列 # 行选取 first_row = df.iloc[0] # 按位置 specific_row = df.loc[0] # 按标签 # 条件筛选 high_sales = df[df['销量'] > 150] # 销量大于150 price_range = df[(df['单价'] > 10) & (df['单价'] < 15)] # 单价在10-15之间 ``` ### 4.2 高级筛选技巧 ```python # 使用 query 方法 result = df.query('销量 > 150 and 单价 < 12') # 使用 isin 方法 selected_products = df[df['产品'].isin(['A', 'C', 'E'])] # 字符串匹配 product_a = df[df['产品'].str.contains('A')] ``` ## 五、数据清洗与预处理 数据清洗是数据分析中至关重要的环节，Pandas 提供了丰富的函数来处理数据质量问题 [ref_3]。 ### 5.1 缺失值处理 ```python # 创建含缺失值的数据 df_missing = pd.DataFrame({ 'A': [1, 2, np.nan, 4], 'B': [5, np.nan, np.nan, 8], 'C': [10, 11, 12, 13] }) print("原始数据:") print(df_missing) print("\n缺失值统计:") print(df_missing.isnull().sum()) # 缺失值处理 df_filled = df_missing.fillna({'A': df_missing['A'].mean(), 'B': 0}) df_dropped = df_missing.dropna() print("\n填充后数据:") print(df_filled) ``` ### 5.2 数据类型转换 ```python # 数据类型转换示例 df_types = pd.DataFrame({ '字符串数字': ['100', '200', '300'], '日期字符串': ['2023-01-01', '2023-01-02', '2023-01-03'], '布尔字符串': ['True', 'False', 'True'] }) # 类型转换 df_types['字符串数字'] = df_types['字符串数字'].astype(int) df_types['日期字符串'] = pd.to_datetime(df_types['日期字符串']) df_types['布尔字符串'] = df_types['布尔字符串'].map({'True': True, 'False': False}) print("转换后数据类型:") print(df_types.dtypes) ``` ## 六、数据转换与变形 ### 6.1 transform 函数应用 transform 函数在对数据进行转换时保持原始形状，常用于分组操作 [ref_4]。 ```python # 创建销售数据 sales_data = pd.DataFrame({ '销售员': ['张三', '李四', '王五', '张三', '李四', '王五'], '月份': ['1月', '1月', '1月', '2月', '2月', '2月'], '销售额': [1000, 1500, 1200, 1300, 1400, 1100] }) # 使用 transform 计算每个销售员的平均销售额 sales_data['平均销售额'] = sales_data.groupby('销售员')['销售额'].transform('mean') sales_data['与平均值的差异'] = sales_data['销售额'] - sales_data['平均销售额'] print("transform 应用结果:") print(sales_data) ``` ### 6.2 数据透视表 ```python # 创建示例数据 pivot_data = pd.DataFrame({ '地区': ['北京', '上海', '广州', '北京', '上海', '广州'], '产品': ['手机', '手机', '手机', '电脑', '电脑', '电脑'], '销量': [1000, 1200, 800, 600, 900, 700] }) # 创建数据透视表 pivot_table = pd.pivot_table(pivot_data, values='销量', index='地区', columns='产品', aggfunc='sum') print("数据透视表:") print(pivot_table) ``` ## 七、数据分组与聚合 分组聚合是 Pandas 最强大的功能之一，能够对数据进行灵活的汇总分析 [ref_5]。 ### 7.1 基本分组操作 ```python # 创建员工绩效数据 employee_data = pd.DataFrame({ '部门': ['技术部', '销售部', '技术部', '人事部', '销售部', '技术部'], '员工': ['张三', '李四', '王五', '赵六', '钱七', '孙八'], '工资': [8000, 6000, 9000, 5000, 7000, 8500], '绩效分数': [85, 92, 78, 88, 95, 82] }) # 分组聚合 dept_stats = employee_data.groupby('部门').agg({ '工资': ['mean', 'max', 'min'], '绩效分数': 'mean', '员工': 'count' }) print("部门统计信息:") print(dept_stats) ``` ### 7.2 复杂分组操作 ```python # 多级分组 multi_group = employee_data.groupby(['部门']).agg({ '工资': lambda x: x.mean(), '绩效分数': ['mean', 'std'] }) # 分组后应用自定义函数 def performance_rating(scores): mean_score = scores.mean() if mean_score >= 90: return '优秀' elif mean_score >= 80: return '良好' else: return '一般' employee_data['部门评级'] = employee_data.groupby('部门')['绩效分数'].transform(performance_rating) print("\n添加评级后的数据:") print(employee_data) ``` ## 八、数据合并与连接 Pandas 提供了多种数据合并方法，满足不同的数据整合需求。 ### 8.1 常用合并方法 ```python # 创建两个相关数据集 df1 = pd.DataFrame({ '员工ID': [1, 2, 3, 4], '姓名': ['张三', '李四', '王五', '赵六'], '部门': ['技术部', '销售部', '技术部', '人事部'] }) df2 = pd.DataFrame({ '员工ID': [1, 2, 3, 5], '工资': [8000, 6000, 9000, 7000], '入职日期': ['2020-01-01', '2019-03-15', '2021-06-01', '2018-11-20'] }) # 内连接 inner_merge = pd.merge(df1, df2, on='员工ID', how='inner') # 左连接 left_merge = pd.merge(df1, df2, on='员工ID', how='left') # 外连接 outer_merge = pd.merge(df1, df2, on='员工ID', how='outer') print("内连接结果:") print(inner_merge) ``` ## 九、高级应用与性能优化 ### 9.1 机器学习数据预处理 Pandas 在机器学习特征工程中发挥着重要作用 [ref_6]。 ```python # 特征工程示例 from sklearn.preprocessing import StandardScaler, LabelEncoder # 创建机器学习数据集 ml_data = pd.DataFrame({ '年龄': [25, 30, 35, 40, 45, 50], '收入': [50000, 60000, 80000, 120000, 150000, 200000], '城市': ['北京', '上海', '广州', '北京', '上海', '深圳'], '是否购买': [0, 1, 0, 1, 1, 0] }) # 数据标准化 scaler = StandardScaler() ml_data[['年龄_标准化', '收入_标准化']] = scaler.fit_transform(ml_data[['年龄', '收入']]) # 类别变量编码 label_encoder = LabelEncoder() ml_data['城市_编码'] = label_encoder.fit_transform(ml_data['城市']) print("机器学习预处理结果:") print(ml_data) ``` ### 9.2 性能优化技巧 ```python # 使用向量化操作替代循环 # 不推荐的方式 def slow_calculation(df): result = [] for i in range(len(df)): if df.loc[i, '销量'] > 150: result.append('高销量') else: result.append('低销量') return result # 推荐的方式（向量化） df['销量等级'] = np.where(df['销量'] > 150, '高销量', '低销量') # 使用 category 类型节省内存 df['产品'] = df['产品'].astype('category') print("优化后内存使用:") print(df.info(memory_usage='deep')) ``` ## 十、时间序列处理 Pandas 对时间序列数据的处理提供了强大的支持。 ```python # 创建时间序列数据 dates = pd.date_range('2023-01-01', periods=6, freq='M') time_series = pd.DataFrame({ '日期': dates, '销售额': [1000, 1200, 1100, 1300, 1400, 1500], '客户数': [50, 55, 52, 58, 60, 62] }) # 设置日期索引 time_series.set_index('日期', inplace=True) # 时间序列重采样 monthly_avg = time_series.resample('Q').mean() print("季度平均数据:") print(monthly_avg) ``` 通过以上系统性的介绍，我们可以看到 Pandas 提供了从基础数据操作到高级数据分析的完整工具链。掌握这些知识点对于进行有效的数据分析和机器学习项目至关重要。在实际应用中，建议结合具体业务场景灵活运用这些功能，并持续关注 Pandas 的新特性和最佳实践。