在Python中，根据一列中的元素进行分类并处理数据，最常用且强大的方法是使用Pandas库的`groupby`操作。`groupby`遵循**"拆分-应用-合并"**（split-apply-combine）范式，能够高效地对数据进行分组聚合、变换和筛选[ref_1][ref_3][ref_4]。 ### 1. 基础分组与聚合 首先，通过`groupby()`方法指定要分组的列，然后应用聚合函数（如`sum`， `mean`， `count`）[ref_2][ref_6]。 ```python import pandas as pd # 示例数据：学生成绩表 data = { '姓名': ['张三', '李四', '王五', '张三', '李四', '王五'], '科目': ['数学', '数学', '数学', '英语', '英语', '英语'], '成绩': [85, 90, 78, 88, 92, 80] } df = pd.DataFrame(data) print("原始数据：") print(df) # 按‘姓名’列分组，并计算每位学生的平均成绩 grouped_mean = df.groupby('姓名')['成绩'].mean() print("\n按姓名分组后的平均成绩：") print(grouped_mean) ``` `groupby`的核心是生成一个`DataFrameGroupBy`对象，它本身并不立即计算，而是记录如何拆分数据。当你调用聚合函数（如`.mean()`）时，Pandas会对每个分组应用该函数，然后将结果合并成一个新的`DataFrame`或`Series`[ref_3][ref_4]。 ### 2. 多列分组与多维度聚合 可以同时根据多列进行分组，并对不同的列应用不同的聚合函数[ref_1][ref_4]。 ```python # 按‘姓名’和‘科目’两列进行分组 multi_grouped = df.groupby(['姓名', '科目']) # 查看分组对象（惰性计算，只显示内存信息） print(multi_grouped) # 对分组后的‘成绩’列进行求和与求均值 agg_result = multi_grouped['成绩'].agg(['sum', 'mean', 'count']) print("\n按姓名和科目分组后的聚合结果：") print(agg_result) # 更精细地，对不同列应用不同聚合函数 # 假设数据中还有一列‘考试次数’，我们想同时查看成绩的总和和考试次数的最大值 # df['考试次数'] = [1, 1, 1, 2, 2, 2] # 为示例添加列 # result = df.groupby('姓名').agg({'成绩': 'sum', '考试次数': 'max'}) ``` ### 3. 使用 `agg`、`transform` 和 `apply` 进行高级操作 `groupby`后的操作主要分为三类，其区别和应用场景如下表所示： | 方法 | 输出形状 | 主要用途 | 典型场景 | | :--- | :--- | :--- | :--- | | **`agg` (聚合)** | 每组一行（汇总结果） | 计算分组的汇总统计量 | 求总和、平均值、最大值、最小值等[ref_1][ref_6] | | **`transform` (变换)** | 与原始数据行数相同 | 为原数据的每一行返回一个基于其所属分组的变换值 | 数据标准化、填充组内缺失值、计算组内排名[ref_2][ref_3][ref_6] | | **`apply` (应用)** | 灵活，取决于函数 | 应用任意自定义函数处理整个分组子集 | 执行复杂业务逻辑、组内排序、提取特定行[ref_1][ref_3] | #### 3.1 `agg` 函数：灵活的聚合 `agg`（或`aggregate`）是进行分组聚合最通用的方法，可以接受字符串、函数、函数列表或字典[ref_1][ref_3]。 ```python # 使用agg进行聚合 # 1. 使用内置函数字符串 agg_simple = df.groupby('姓名')['成绩'].agg('mean') print("使用agg内置函数：") print(agg_simple) # 2. 使用自定义函数（Lambda） agg_custom = df.groupby('姓名')['成绩'].agg(lambda x: x.max() - x.min()) print("\n使用agg自定义函数（计算极差）：") print(agg_custom) # 3. 同时应用多个聚合函数 agg_multi = df.groupby('姓名')['成绩'].agg(['mean', 'std', lambda x: x.quantile(0.75)]) print("\n使用agg应用多个函数：") print(agg_multi) # 4. 为聚合结果列命名（Pandas 0.25+） agg_named = df.groupby('姓名').agg( 平均成绩=('成绩', 'mean'), 最高成绩=('成绩', 'max') ) print("\n为聚合结果命名：") print(agg_named) ``` #### 3.2 `transform` 函数：保持形状的组内运算 `transform`返回一个与原始`DataFrame`行数相同的对象，非常适合用于创建基于分组的新列[ref_2][ref_6]。 ```python # 使用transform计算每位学生成绩相对于其平均成绩的偏差 df['组内平均成绩'] = df.groupby('姓名')['成绩'].transform('mean') df['成绩偏差'] = df['成绩'] - df['组内平均成绩'] print("\n使用transform添加组内平均成绩和偏差列：") print(df) # 另一个例子：用组内中位数填充缺失值（假设有缺失） # df['成绩'] = df['成绩'].mask([0,2], pd.NA) # 制造缺失值 # df['成绩_填充后'] = df.groupby('姓名')['成绩'].transform(lambda x: x.fillna(x.median())) ``` #### 3.3 `apply` 函数：强大的自定义分组处理 `apply`是最灵活的方法，它将每个分组作为一个独立的`DataFrame`传入自定义函数，并可以返回任何形状的数据[ref_1][ref_3]。 ```python # 使用apply找出每个学生考得最好的科目 def get_best_subject(group): # group是一个DataFrame，包含同一学生的所有记录 max_score_idx = group['成绩'].idxmax() return group.loc[max_score_idx, ['科目', '成绩']] best_subject = df.groupby('姓名').apply(get_best_subject) print("\n使用apply找出每位学生的最佳科目：") print(best_subject) # 使用apply进行组内排序 def sort_within_group(group): return group.sort_values('成绩', ascending=False) sorted_groups = df.groupby('姓名', group_keys=False).apply(sort_within_group) print("\n使用apply进行组内排序：") print(sorted_groups) ``` ### 4. 分组后的数据访问与迭代 你可以像访问字典一样访问特定的分组，或者遍历所有分组[ref_4]。 ```python # 访问特定分组 zhang_group = df.groupby('姓名').get_group('张三') print("\n获取‘张三’的所有记录：") print(zhang_group) # 遍历分组 print("\n遍历所有分组：") for name, group_df in df.groupby('姓名'): print(f"学生：{name}") print(group_df) print("-" * 20) ``` ### 5. 性能优化技巧 对于大数据集，`groupby`操作可能会成为性能瓶颈。可以考虑以下优化策略： * **向量化操作**：优先使用内置的聚合函数（如`'mean'`, `'sum'`），它们比`apply`配合自定义函数快得多[ref_1]。 * **指定数据类型**：如果可能，将分组列转换为`category`类型可以提升速度。 * **并行处理**：对于极其庞大的数据，可以考虑使用`swifter`、`dask`库或`joblib`进行并行化计算来加速`groupby`操作[ref_5]。 综上所述，Pandas的`groupby`是数据分类和分箱处理的基石。掌握`agg`、`transform`和`apply`这三个核心方法，能够应对从简单的统计汇总到复杂的自定义业务逻辑等各种数据分组处理需求[ref_1][ref_3][ref_6]。选择哪种方法取决于你的具体目标：需要汇总统计选`agg`，需要为原数据添加组内计算列选`transform`，需要进行复杂、非标准化的分组处理则选`apply`。