# Pandas项目集：从数据预处理到实战应用全解析 ## 一、Pandas核心功能概述 Pandas是Python数据分析的核心库，提供了高效的数据结构和数据处理工具。其主要数据结构包括DataFrame（二维表格数据）和Series（一维数组），能够处理各种格式的数据文件，如CSV、Excel、JSON等[ref_3]。 ### 核心数据结构对比 | 数据结构 | 维度 | 主要特点 | 适用场景 | |---------|------|----------|----------| | DataFrame | 二维 | 行列索引、混合数据类型 | 表格数据处理、统计分析 | | Series | 一维 | 单一数据类型、索引标签 | 时间序列、单变量分析 | ## 二、数据创建与基础操作 ### 2.1 DataFrame创建示例 ```python import pandas as pd import numpy as np # 从字典创建DataFrame data = { '姓名': ['张三', '李四', '王五', '赵六'], '年龄': [25, 30, 35, 28], '城市': ['北京', '上海', '广州', '深圳'], '薪资': [15000, 18000, 20000, 17000] } df = pd.DataFrame(data) print("原始数据:") print(df) print(f"数据形状: {df.shape}") print(f"列名: {df.columns.tolist()}") ``` ### 2.2 数据查看与基本信息 ```python # 查看数据基本信息 print("\n数据基本信息:") print(df.info()) # 查看统计摘要 print("\n数值列统计信息:") print(df.describe()) # 查看前几行数据 print("\n前3行数据:") print(df.head(3)) ``` ## 三、数据索引与选择 ### 3.1 loc与iloc索引器对比 Pandas提供了两种主要的索引器：**loc**（基于标签）和**iloc**（基于位置），它们在索引行为上存在重要差异[ref_5]。 | 特性 | loc | iloc | |------|-----|------| | 索引类型 | 标签索引 | 位置索引 | | 切片行为 | 包含结束位置 | 不包含结束位置 | | 布尔索引 | 支持 | 支持 | | 负索引 | 不支持 | 支持 | ### 3.2 索引操作代码示例 ```python # 使用loc进行标签索引 print("使用loc选择前两行:") print(df.loc[0:1, ['姓名', '年龄']]) # 包含结束位置[ref_5] # 使用iloc进行位置索引 print("\n使用iloc选择前两行:") print(df.iloc[0:2, [0, 1]]) # 不包含结束位置[ref_5] # 条件筛选 print("\n薪资大于16000的员工:") high_salary = df.loc[df['薪资'] > 16000] print(high_salary) # 多重条件筛选 print("\n年龄在25-30之间且在北京的员工:") condition = (df['年龄'] >= 25) & (df['年龄'] <= 30) & (df['城市'] == '北京') selected = df.loc[condition] print(selected) ``` ## 四、数据清洗与预处理 ### 4.1 缺失值处理 ```python # 创建包含缺失值的数据 df_with_na = df.copy() df_with_na.loc[1, '年龄'] = np.nan df_with_na.loc[2, '城市'] = None print("包含缺失值的数据:") print(df_with_na) # 检查缺失值 print("\n缺失值统计:") print(df_with_na.isnull().sum()) # 处理缺失值 df_cleaned = df_with_na.fillna({'年龄': df_with_na['年龄'].mean(), '城市': '未知'}) print("\n处理后的数据:") print(df_cleaned) ``` ### 4.2 分类数据编码 对于机器学习模型，需要将分类变量转换为数值形式。`get_dummies`函数是实现one-hot编码的重要工具[ref_1]。 ```python # 使用get_dummies进行one-hot编码 print("原始城市数据:") print(df['城市']) # 对城市列进行one-hot编码 city_encoded = pd.get_dummies(df['城市'], prefix='城市') print("\nOne-hot编码结果:") print(city_encoded) # 将编码结果合并到原数据 df_encoded = pd.concat([df, city_encoded], axis=1) print("\n合并后的数据:") print(df_encoded) ``` **get_dummies函数优缺点分析**[ref_1]： - **优点**：简单易用，自动处理所有分类值 - **缺点**：可能引发维度灾难，当分类变量取值过多时会导致特征维度急剧增加 ## 五、数据筛选与排序 ### 5.1 高级筛选技巧 ```python # 按多列条件筛选 print("年龄大于28或薪资高于17000的员工:") complex_filter = df[(df['年龄'] > 28) | (df['薪资'] > 17000)] print(complex_filter) # 使用query方法筛选 print("\n使用query方法筛选:") query_result = df.query("年龄 > 25 and 城市 in ['北京', '上海']") print(query_result) ``` ### 5.2 数据排序操作 ```python # 单列排序 print("按年龄升序排序:") print(df.sort_values('年龄')) # 多列排序 print("\n按城市升序、薪资降序排序:") print(df.sort_values(['城市', '薪资'], ascending=[True, False])) # 重置索引 df_sorted = df.sort_values('薪资', ascending=False).reset_index(drop=True) print("\n按薪资降序排序并重置索引:") print(df_sorted) ``` ## 六、数据分组与聚合 ### 6.1 分组统计 ```python # 按城市分组计算平均薪资 print("各城市平均薪资:") city_stats = df.groupby('城市')['薪资'].agg(['mean', 'count', 'std']) print(city_stats) # 多维度分组聚合 print("\n各城市年龄和薪资统计:") multi_agg = df.groupby('城市').agg({ '年龄': ['mean', 'min', 'max'], '薪资': ['sum', 'mean'] }) print(multi_agg) ``` ### 6.2 数据透视表 ```python # 创建扩展数据用于演示透视表 extended_data = { '部门': ['技术部', '技术部', '市场部', '市场部', '技术部', '市场部'], '城市': ['北京', '上海', '北京', '广州', '上海', '深圳'], '薪资': [15000, 18000, 16000, 20000, 17000, 19000], '奖金': [3000, 4000, 3500, 4500, 3800, 4200] } df_extended = pd.DataFrame(extended_data) # 创建透视表 pivot_table = df_extended.pivot_table( values='薪资', index='城市', columns='部门', aggfunc='mean', fill_value=0 ) print("薪资透视表:") print(pivot_table) ``` ## 七、实战项目示例 ### 7.1 销售数据分析项目 ```python # 模拟销售数据 sales_data = { '日期': pd.date_range('2024-01-01', periods=100, freq='D'), '产品类别': np.random.choice(['电子产品', '服装', '食品', '家居'], 100), '销售额': np.random.randint(1000, 10000, 100), '数量': np.random.randint(1, 50, 100), '地区': np.random.choice(['华北', '华东', '华南', '西南'], 100) } sales_df = pd.DataFrame(sales_data) sales_df['单价'] = sales_df['销售额'] / sales_df['数量'] print("销售数据概览:") print(sales_df.head()) # 月度销售分析 sales_df['月份'] = sales_df['日期'].dt.month monthly_sales = sales_df.groupby('月份')['销售额'].sum() print("\n月度销售额:") print(monthly_sales) # 地区产品分析 region_product = sales_df.groupby(['地区', '产品类别'])['销售额'].sum().unstack() print("\n各地区各产品销售额:") print(region_product) ``` ### 7.2 数据可视化集成 ```python import matplotlib.pyplot as plt # 销售额趋势可视化 plt.figure(figsize=(12, 6)) # 月度销售额趋势 plt.subplot(1, 2, 1) monthly_sales.plot(kind='bar', color='skyblue') plt.title('月度销售额趋势') plt.xlabel('月份') plt.ylabel('销售额') # 地区销售分布 plt.subplot(1, 2, 2) sales_df.groupby('地区')['销售额'].sum().plot(kind='pie', autopct='%1.1f%%') plt.title('地区销售分布') plt.tight_layout() plt.show() ``` ## 八、性能优化与最佳实践 ### 8.1 矢量化操作 ```python # 避免使用循环，使用矢量化操作 # 不良做法（使用循环）： # for i in range(len(df)): # df.loc[i, '薪资等级'] = '高' if df.loc[i, '薪资'] > 17000 else '低' # 良好做法（矢量化）： df['薪资等级'] = np.where(df['薪资'] > 17000, '高', '低') print("添加薪资等级后的数据:") print(df[['姓名', '薪资', '薪资等级']]) ``` ### 8.2 内存优化技巧 ```python # 查看数据类型和内存使用 print("数据类型:") print(df.dtypes) # 优化数据类型 df_optimized = df.copy() df_optimized['年龄'] = df_optimized['年龄'].astype('int16') df_optimized['薪资'] = df_optimized['薪资'].astype('int32') print("\n优化后的数据类型:") print(df_optimized.dtypes) ``` 通过以上完整的Pandas项目集示例，我们可以看到Pandas在数据处理方面的强大能力。从基础的数据创建、索引选择，到高级的数据清洗、分组聚合，再到实战项目应用，Pandas提供了全面而高效的数据处理解决方案。掌握这些技能对于从事数据分析、机器学习等相关领域的工作至关重要[ref_3][ref_6]。在实际项目中，建议根据具体需求选择合适的操作方法，并注意代码的性能优化和数据质量保证。