Pandas多对多连接导致数据爆炸式增长，有哪些实用的缓解策略？

在 Pandas 中，当两个 DataFrame 进行多对多连接时采用行的笛卡尔积会使结果数据集行数大幅增加，可通过以下几种方法解决： ### 数据聚合在连接之前，对数据进行聚合操作，减少每个连接键对应的行数。例如，对某些列进行求和、求平均值等操作。 ```python import pandas as pd # 创建示例 DataFrame df1 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value1': [1, 2, 3, 4] }) df2 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value2': [5, 6, 7, 8] }) # 对 df1 按 key 进行聚合，计算 value1 的总和 df1_agg = df1.groupby('key')['value1'].sum().reset_index() # 对 df2 按 key 进行聚合，计算 value2 的总和 df2_agg = df2.groupby('key')['value2'].sum().reset_index() # 进行连接 result = df1_agg.merge(df2_agg, on='key') print(result) ``` ### 筛选冗余数据在连接之前，通过筛选操作去除不必要的数据，减少参与连接的行数。 ```python import pandas as pd # 创建示例 DataFrame df1 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value1': [1, 2, 3, 4] }) df2 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value2': [5, 6, 7, 8] }) # 筛选 df1 中 value1 大于 2 的行 df1_filtered = df1[df1['value1'] > 2] # 筛选 df2 中 value2 大于 7 的行 df2_filtered = df2[df2['value2'] > 7] # 进行连接 result = df1_filtered.merge(df2_filtered, on='key') print(result) ``` ### 分区连接将数据分成多个子集，分别对每个子集进行连接，最后合并结果。 ```python import pandas as pd # 创建示例 DataFrame df1 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value1': [1, 2, 3, 4] }) df2 = pd.DataFrame({ 'key': ['A', 'A', 'B', 'B'], 'value2': [5, 6, 7, 8] }) # 按 key 进行分区 unique_keys = df1['key'].unique() results = [] for key in unique_keys: df1_subset = df1[df1['key'] == key] df2_subset = df2[df2['key'] == key] subset_result = df1_subset.merge(df2_subset, on='key') results.append(subset_result) # 合并结果 final_result = pd.concat(results) print(final_result) ``` ### 更改连接策略如果多对多连接不是必需的，可以考虑使用其他连接策略，如一对一连接、一对多连接等。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Cadence CIS 16.6里找不到System Information，该怎么查配置文件路径和系统参数？

目录

Pandas多对多连接导致数据爆炸式增长，有哪些实用的缓解策略？

Python内容推荐

EI复现基于深度强化学习的微能源网能量管理与优化策略研究（Python代码实现）

基于信息素加权 A 与 DWA 的三维无人机路径规划与避障轨迹跟踪控制研究（Matlab代码实现）

一款开源、零后端依赖的Web打印模板可视化设计器 它让用户通过拖拽即可设计快递面单、发票、标签、报表等打印模板，支持AI一句话生成、云打印、C++桌面客户端静默打印，3分钟即可对接ERP系统

Qt6 编写的大模型交互程序，这是源代码，安装完Qt6 可以完美编译

新加坡国界、省界、市界矢量数据SHP格式.zip

YOLO26算法城市道路交通信号灯、车辆及行人目标检测+训练好的模型+448张数据集+pyqt可视化界面.zip

伯利兹国界、省界、市界矢量数据SHP格式.zip

布隆迪国界、省界、市界矢量数据SHP格式.zip

通信管道人孔手孔图集-下载即用.zip

神经网络自适应PID控制BP-PID-Simulink仿真

基于MPC+二自由度动力学的车辆轨迹跟踪+横向控制Carsim和Simulink联合仿真（Matlab代码、Simulink仿真实现）

外盘期货高频tick数据，涵盖主流交易品种，包括芝商所的原油、黄金、铜、标普500、纳斯达克等商品和股指期货，以及部分外汇期货 每条tick记录时间戳，精确到毫秒 数据包含成交价格、单笔成交量，同时提

菲律宾国界、省界、市界矢量数据SHP格式.zip

洪都拉斯国界、省界、市界矢量数据SHP格式.zip

华为OD机试302题刷题精解

基于降频软启动与电压电流双闭环的双三相LLC谐振变换器宽输入范围运行特性研究（Simulink仿真实现）

冈比亚国界、省界、市界矢量数据SHP格式.zip

萨尔瓦多国界、省界、市界矢量数据SHP格式.zip

安道尔国界、省界、市界矢量数据SHP格式.zip

【脉冲多普勒雷达信号处理】基于匹配滤波与慢时间傅里叶变换的距离速度联合估计理论及模糊特性研究（Matlab代码实现）

jvm指令使用说明.html

基于一阶谐波相位法的星载SAR多普勒中心频率估计与距离向拟合研究（Matlab代码实现）

Maven Kafka Java开发环境jar包

手机摄像头测试方法-下载即用.zip

YOLO26算法道路监控交通信号灯logo状态目标检测+训练好的模型+290张数据集+pyqt可视化界面.zip

基于嵌入式平台的智能家居系统毕业设计与实现

2026届秋招Java后端求职指南：面试核心与实战策略

Visual Studio 怎么配置 Qt6 开发环境？需要装哪些插件和工具？

OpenClaw本地媒体文件上传飞书受限问题及白名单机制解决方案

2027届数据分析秋招备战指南：SQL、AB实验与Data+AI复合能力全解析

一款开源、零后端依赖的Web打印模板可视化设计器它让用户通过拖拽即可设计快递面单、发票、标签、报表等打印模板，支持AI一句话生成、云打印、C++桌面客户端静默打印，3分钟即可对接ERP系统

外盘期货高频tick数据，涵盖主流交易品种，包括芝商所的原油、黄金、铜、标普500、纳斯达克等商品和股指期货，以及部分外汇期货每条tick记录时间戳，精确到毫秒数据包含成交价格、单笔成交量，同时提