# Pandas 从零到精通：用“数据厨房”比喻贯穿的全栈式实战教程 > **适用对象**：刚学完 Python 基础语法（变量、循环、函数、列表/字典）的初学者 > **核心理念**：把数据分析过程类比为**厨房烹饪全流程**——安装是备厨具，Series/DataFrame 是食材形态，读写是采购，清洗是择菜，筛选是切配，分组是分堆，聚合是调味，合并是拼盘，可视化是摆盘。所有抽象概念均有生活化映射。 --- ## 一、厨房筹备：安装与导入（5分钟上手） Pandas 不是 Python 自带的“锅碗瓢盆”，需单独安装。就像买新厨具，用 `pip` 这个“快递平台”下单 [ref_1]： ```bash # ✅ 推荐国内加速安装（清华源，3秒完成） pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple # ✅ 验证安装成功 python -c "import pandas as pd; print(pd.__version__)" ``` 在代码中导入并起昵称 `pd`（约定俗成，如叫“老张”比“张建国”更顺口）[ref_3]： ```python import pandas as pd import numpy as np # 后续处理缺失值必备（NaN 的制造者） print("✅ Pandas 厨房已通电，厨具就位！") ``` > 💡 **比喻强化**：`import pandas as pd` 就像打开橱柜，取出印着“Pandas”logo的智能料理机——它能自动切丝、打浆、称重、计时，但你得先插电（import）。 --- ## 二、认识两大核心厨具：Series（香肠）与 DataFrame（菜篮子） | 维度 | Series（一根香肠） | DataFrame（一篮子菜） | |------------|------------------------------------------|-----------------------------------------------| | **形状** | 一维：`[值1, 值2, 值3]` + 索引标签 | 二维：行×列，类似 Excel 表格 | | **比喻** | 一串葡萄（每颗有编号）、温度计读数序列 | 超市小票（商品名、数量、单价、小计四列） | | **创建方式** | `pd.Series([数据], index=[标签])` | `pd.DataFrame({列名: [数据], ...})` | ### ▶ 实例1：创建“今日体温香肠”（Series） ```python # 每小时测一次体温，时间就是“香肠切片的编号” body_temp = pd.Series( data=[36.5, 36.8, 37.0, 36.9, 36.7], index=['6:00', '9:00', '12:00', '15:00', '18:00'] ) print("🌡️ 体温香肠（Series）：") print(body_temp) print(f"\n→ 12:00 体温：{body_temp['12:00']}°C") # 通过标签索引，像喊“第三片香肠！” ``` ### ▶ 实例2：创建“超市小票菜篮子”（DataFrame） ```python # 一张真实小票：4行3列（商品、数量、单价） receipt = pd.DataFrame({ '商品': ['苹果', '香蕉', '牛奶', '面包'], '数量': [2, 5, 1, 3], '单价(元)': [5.5, 3.0, 8.0, 12.0] }) print("\n🛒 超市小票（DataFrame）：") print(receipt) print(f"\n→ 总商品种类数：{receipt.shape[0]} 种") # shape[0] = 行数 = 商品种类 print(f"→ 小票列名：{list(receipt.columns)}") # columns = 列名 = “商品”“数量”“单价” ``` > 🌟 **关键洞察**：DataFrame 的每一列本质就是一个 Series！`receipt['商品']` 就是 `Series(['苹果','香蕉','牛奶','面包'])`。 --- ## 三、采购食材：数据读取（I/O）——支持10+种格式 Pandas 是“万能采购员”，支持从 CSV、Excel、数据库甚至网页直接抓取数据 [ref_2]。 | 数据源 | 代码示例 | 说明 | |----------|-----------------------------------------------|----------------------------------| | CSV | `df = pd.read_csv('sales.csv')` | 最常用，纯文本表格，轻量高效 | | Excel | `df = pd.read_excel('data.xlsx', sheet_name='Q1')` | 支持多工作表，`sheet_name`指定页签 | | SQL | `df = pd.read_sql("SELECT * FROM users", conn)` | 直连数据库，`conn`是数据库连接对象 | | 字典 | `df = pd.DataFrame({'A': [1,2], 'B': [3,4]})` | 快速构造测试数据 | ### ▶ 实战：读取一份模拟学生成绩 CSV（附文件内容结构） 假设你有一个 `students.csv` 文件，内容如下： ```csv name,math,english,science Alice,85,92,78 Bob,90,88,85 Charlie,76,95,82 ``` ```python # ✅ 一行代码采购完成 df = pd.read_csv('students.csv') print("📖 原始成绩单（前3行预览）：") print(df.head(3)) # head(n) = 看前n行，像快速翻书 # 🔍 快速探查数据概况（厨房里的“食材质检报告”） print(f"\n📊 数据概况：{df.shape[0]} 行 × {df.shape[1]} 列") print("\n📋 列类型检查：") print(df.dtypes) # 查看每列是数字(int/float)还是文字(object) print("\n🔍 数值列统计摘要（自动计算均值、标准差等）：") print(df.describe()) # 只对数值列生效 ``` > ⚠️ **避坑提示**：中文路径报错？用 `r'路径'` 或正斜杠 `/` 替代反斜杠 `\`，例如 `pd.read_csv(r'C:\data\file.csv')` → `pd.read_csv('C:/data/file.csv')` --- ## 四、择菜去泥：数据清洗（Data Cleaning）——90% 工作在此 真实数据像刚买回的蔬菜：有烂叶（缺失值）、有泥巴（异常值）、标签不统一（格式混乱）。清洗是 Pandas 最高频操作 [ref_2]。 ### ▶ 步骤1：识别“烂叶子”（缺失值 NaN） ```python # 制造一个含缺失值的 DataFrame（模拟录入错误） df_dirty = pd.DataFrame({ '姓名': ['张三', '李四', '王五', '赵六'], '数学': [85, np.nan, 78, 92], # 李四数学缺考 '语文': [88, 76, np.nan, 85], # 王五语文缺考 '英语': [92, 88, 70, np.nan] # 赵六英语缺考 }) print("🥬 原始脏数据：") print(df_dirty) print(f"\n❌ 缺失值统计：\n{df_dirty.isnull().sum()}") # 每列有多少个 NaN ``` ### ▶ 步骤2：处理烂叶子（3种策略） | 策略 | 代码示例 | 适用场景 | |--------------|-----------------------------------------------|-------------------------------| | **丢弃整行** | `df_clean = df_dirty.dropna()` | 缺失极少，且该行其他数据无价值 | | **填充均值** | `df_clean = df_dirty.fillna(df_dirty.mean())` | 数值型数据，缺失随机 | | **填充众数** | `df_clean = df_dirty.fillna(df_dirty.mode().iloc[0])` | 分类型数据（如“班级”填“一班”） | ```python # ✅ 对数值列用均值填充，对非数值列用前向填充（用上一行值） df_clean = df_dirty.copy() df_clean[['数学', '语文', '英语']] = df_clean[['数学', '语文', '英语']].fillna( df_clean[['数学', '语文', '英语']].mean().round(1) ) df_clean['姓名'] = df_clean['姓名'].fillna(method='ffill') # 姓名用前向填充 print("\n✅ 清洗后数据（均值填充+前向填充）：") print(df_clean) ``` ### ▶ 步骤3：揪出“泥巴”（异常值检测） 用箱线图（Boxplot）逻辑识别离群点： ```python # 计算语文成绩的四分位数 Q1 = df_clean['语文'].quantile(0.25) Q3 = df_clean['语文'].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR outliers = df_clean[(df_clean['语文'] < lower_bound) | (df_clean['语文'] > upper_bound)] print(f"\n⚠️ 语文异常值（低于{lower_bound:.1f}或高于{upper_bound:.1f}）：") print(outliers if not outliers.empty else "无异常值") ``` --- ## 五、切配分装：数据筛选与索引（最易混淆，必须掌握） DataFrame 索引是 Pandas 的“灵魂操作”，分三大类： | 类型 | 语法 | 说明 | 比喻 | |------|---------------|-----------------------------------|--------------------| | **布尔索引** | `df[df['数学']>80]` | 用条件表达式直接筛选行 | “把所有大于80分的学生挑出来” | | **`.loc[]`** | `df.loc[行标签, 列标签]` | 用**标签名**（字符串/日期）索引 | “请把‘张三’那行的‘数学’和‘英语’列给我” | | **`.iloc[]`** | `df.iloc[行位置, 列位置]` | 用**整数位置**（0-based）索引 | “请把第0行、第1列和第2列的数据给我” | ### ▶ 实例对比：同一需求，三种写法 ```python # 假设 df_clean 如上，我们想提取：数学≥85 且 英语≥90 的学生姓名和两科成绩 # ✅ 方法1：布尔索引（最直观，推荐新手） high_scorers = df_clean[(df_clean['数学'] >= 85) & (df_clean['英语'] >= 90)][['姓名', '数学', '英语']] print("🎯 布尔索引结果：") print(high_scorers) # ✅ 方法2：.loc —— 先筛选行，再选列 mask = (df_clean['数学'] >= 85) & (df_clean['英语'] >= 90) high_scorers_loc = df_clean.loc[mask, ['姓名', '数学', '英语']] print("\n🎯 .loc 结果（完全一致）：") print(high_scorers_loc) # ✅ 方法3：.iloc —— 需先获取满足条件的行号 row_indices = df_clean.index[(df_clean['数学'] >= 85) & (df_clean['英语'] >= 90)].tolist() col_indices = [0, 1, 3] # 姓名(0), 数学(1), 英语(3) —— 注意列位置！ high_scorers_iloc = df_clean.iloc[row_indices, col_indices] print("\n🎯 .iloc 结果（需手动查位置，易错）：") print(high_scorers_iloc) ``` > 💡 **黄金法则**： > - 用**标签**（列名、索引名）→ 选 `.loc` > - 用**数字位置**（第几行第几列）→ 选 `.iloc` > - 用**条件过滤** → 选**布尔索引**（最自然） --- ## 六、分堆调味：分组聚合（GroupBy）——数据分析的核心引擎 GroupBy 是 Pandas 的“魔法研磨机”：把数据按某列（如“班级”）分堆，再对每堆执行计算（求和、平均、计数）[ref_3]。 ### ▶ 语法结构：`df.groupby('分组列')[目标列].聚合函数()` ```python # 扩展成绩单，加入班级信息 df_class = pd.DataFrame({ '姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八'], '班级': ['一班', '一班', '一班', '二班', '二班', '二班'], '数学': [85, 92, 78, 88, 95, 82], '英语': [92, 88, 70, 85, 90, 87] }) # 🧮 按班级分堆，计算数学和英语的平均分 class_avg = df_class.groupby('班级')[['数学', '英语']].mean().round(1) print("🧮 按班级分组平均分：") print(class_avg) # 📊 复杂聚合：每班人数、数学最高分、英语最低分 class_summary = df_class.groupby('班级').agg({ '数学': ['count', 'max'], # 数学列：计数、最大值 '英语': ['min', 'std'] # 英语列：最小值、标准差 }).round(2) print("\n📊 复杂聚合（每班统计）：") print(class_summary) ``` **输出解读**： ``` 数学 英语 count max min std 班级 一班 3 92 70 9.64 二班 3 95 85 2.89 ``` → 一班3人，数学最高92；二班英语最低85，成绩更稳定（标准差2.89 < 9.64）。 --- ## 七、拼盘上桌：数据合并（Merge / Concat）——整合多源信息 当数据分散在多张表时（如“学生基本信息表”+“学生成绩表”），需合并 [ref_3]。 | 合并方式 | 语法示例 | 场景比喻 | |----------|-----------------------------------------------|------------------------------| | **横向拼接** | `pd.concat([df1, df2], axis=1)` | 把两张并排的菜单（左：菜名，右：价格）贴成一张 | | **纵向拼接** | `pd.concat([df1, df2], axis=0)` | 把两份销售日报（周一、周二）叠成一周报表 | | **关联查询** | `pd.merge(df_left, df_right, on='ID')` | 根据“身份证号”把人事表和薪资表连起来 | ### ▶ 实战：合并学生信息与成绩（内连接） ```python # 表1：学生档案（含学号、姓名、年级） students_info = pd.DataFrame({ '学号': ['S001', 'S002', 'S003', 'S004'], '姓名': ['张三', '李四', '王五', '赵六'], '年级': ['大一', '大一', '大二', '大二'] }) # 表2：学生成绩（含学号、科目、分数） students_score = pd.DataFrame({ '学号': ['S001', 'S001', 'S002', 'S003', 'S004', 'S004'], '科目': ['数学', '英语', '数学', '英语', '数学', '英语'], '分数': [85, 92, 90, 78, 88, 85] }) # 🔗 内连接：只保留两个表都有的学号（交集） merged = pd.merge(students_info, students_score, on='学号', how='inner') print("🔗 内连接结果（4名学生 × 2科 = 8条记录）：") print(merged) # 🌐 左连接：以学生档案为主，成绩为空则显示NaN merged_left = pd.merge(students_info, students_score, on='学号', how='left') print("\n🌐 左连接结果（保留所有学生，缺成绩显示NaN）：") print(merged_left) ``` --- ## 八、终极实战：端到端分析“电商用户行为” 用一个完整案例串联全部技能，数据来自公开的 `online_retail.csv`（可从 Kaggle 下载）。 ```python # 1️⃣ 采购数据 df = pd.read_csv('online_retail.csv', encoding='latin-1') # 2️⃣ 清洗：删除空订单、修复数据类型 df = df.dropna(subset=['CustomerID', 'InvoiceNo']) df['InvoiceDate'] = pd.to_datetime(df['InvoiceDate']) df['TotalPrice'] = df['Quantity'] * df['UnitPrice'] # 3️⃣ 探索：Top 5 高消费客户 top_customers = df.groupby('CustomerID')['TotalPrice'].sum().sort_values(ascending=False).head(5) print("🏆 Top 5 客户总消费：") print(top_customers) # 4️⃣ 分析：每月销售额趋势（时间序列） monthly_sales = df.set_index('InvoiceDate').resample('M')['TotalPrice'].sum() print("\n📈 月度销售额（2010年）：") print(monthly_sales['2010']) # 5️⃣ 可视化（需 matplotlib） import matplotlib.pyplot as plt monthly_sales['2010'].plot(title='2010年月度销售额', figsize=(10,4)) plt.ylabel('销售额 (英镑)') plt.show() ``` > ✅ 此案例覆盖：读取 → 清洗（去空、类型转换）→ 分组聚合（客户消费）→ 时间序列（resample）→ 可视化（plot）。 --- ## 九、进阶地图：从熟练到精通的必经之路 | 阶段 | 关键能力 | 学习资源指引 | |--------|------------------------------|----------------------------------| | **入门** | Series/DataFrame、读写、清洗、筛选 | 本文全部内容 + [ref_1][ref_2][ref_3] | | **熟练** | GroupBy 多级索引、透视表 `pivot_table`、时间序列 `resample` | Pandas 官方文档 “10 Minutes to Pandas” | | **精通** | 自定义函数 `apply`、窗口函数 `rolling`、内存优化 `category`、与 SQL/Spark 集成 | 《Python for Data Analysis》第2版 | | **专家** | 开发自定义访问器（`.str`, `.dt`）、性能调优（`query`, `eval`）、贡献开源 | Pandas GitHub Issues & PRs | --- ## 十、避坑锦囊：新手最常踩的5个雷 | 雷区 | 错误代码 | 正确写法 | 原因 | |------|----------|----------|------| | **链式赋值警告** | `df[df['A']>0]['B'] = 1` | `df.loc[df['A']>0, 'B'] = 1` | 避免 `SettingWithCopyWarning`，必须用 `.loc` 显式定位 | | **修改原地** | `df.drop(columns=['A'])` | `df.drop(columns=['A'], inplace=True)` 或 `df = df.drop(...)` | `drop` 默认返回新 DataFrame，不修改原对象 | | **布尔运算符** | `df[(df.A>1) and (df.B<2)]` | `df[(df.A>1) & (df.B<2)]` | Python `and/or` 不能用于数组，必须用 `&/|` | | **字符串方法** | `df['name'].upper()` | `df['name'].str.upper()` | Series 字符串操作必须加 `.str` 前缀 | | **缺失值比较** | `df['A'] == np.nan` | `df['A'].isnull()` | `np.nan == np.nan` 返回 `False`，永远用 `isnull()` | --- ## 结语：你的第一道“数据大餐”已完成 你已掌握 Pandas 的**全工作流**： **备厨具（安装）→ 认食材（Series/DataFrame）→ 采购（I/O）→ 择菜（清洗）→ 切配（筛选）→ 分堆（GroupBy）→ 拼盘（Merge）→ 上桌（分析）**。 下一步行动建议： 1. **立刻实践**：用本文代码在 Jupyter Notebook 中逐行运行； 2. **替换数据**：把你手机里导出的微信账单（CSV）、运动步数（Excel）用本文方法分析； 3. **挑战升级**：去 [Kaggle](https://www.kaggle.com/datasets) 下载 `Titanic` 或 `Iris` 数据集，复现本文所有步骤。 > 数据分析不是记忆语法，而是**用工具解决真实问题**。当你第一次用 `groupby().mean()` 发现“周末订单平均金额比工作日高37%”，那一刻，你已不再是学习者，而是数据厨师——而 Pandas，就是你手中那把永不生锈的主厨刀。