### Python长数据格式处理常用包解析 长数据格式（Long Format）在数据科学和统计分析中广泛应用，特别适用于时间序列数据、面板数据以及重复测量数据的处理。以下是处理长数据格式的核心Python包及其具体应用： #### 1. **核心数据处理包 - pandas** `pandas` 是Python数据处理的基石，提供了强大的数据重塑功能： ```python import pandas as pd import numpy as np # 创建示例宽格式数据 wide_data = pd.DataFrame({ 'patient_id': [1, 2, 3], 'baseline_WBC': [5.2, 6.1, 4.8], 'followup1_WBC': [5.5, 5.9, 5.1], 'followup2_WBC': [5.3, 6.0, 4.9], 'baseline_IgE': [120, 150, 90], 'followup1_IgE': [110, 140, 85], 'followup2_IgE': [115, 145, 88] }) # 使用melt转换为长格式 long_data = pd.melt(wide_data, id_vars=['patient_id'], value_vars=['baseline_WBC', 'followup1_WBC', 'followup2_WBC', 'baseline_IgE', 'followup1_IgE', 'followup2_IgE'], var_name='time_metric', value_name='measurement_value') print(long_data.head(10)) ``` #### 2. **数据可视化包 - matplotlib & seaborn** 配合长格式数据进行可视化分析： ```python import matplotlib.pyplot as plt import seaborn as sns # 从长数据中提取时间点和指标类型 long_data['time_point'] = long_data['time_metric'].str.split('_').str[0] long_data['metric_type'] = long_data['time_metric'].str.split('_').str[1] # 绘制趋势图 plt.figure(figsize=(12, 6)) sns.lineplot(data=long_data, x='time_point', y='measurement_value', hue='metric_type', style='patient_id') plt.title('患者指标随时间变化趋势') plt.xticks(rotation=45) plt.show() ``` #### 3. **统计建模包 - statsmodels** 适用于面板数据和重复测量分析： ```python import statsmodels.api as sm import statsmodels.formula.api as smf # 准备混合效应模型数据 model_data = long_data.copy() model_data['time_numeric'] = model_data['time_point'].map({ 'baseline': 0, 'followup1': 30, 'followup2': 60 }) # 拟合混合效应模型 mixed_model = smf.mixedlm("measurement_value ~ time_numeric", model_data, groups=model_data["patient_id"]) result = mixed_model.fit() print(result.summary()) ``` #### 4. **机器学习预处理包 - scikit-learn** 特征工程和数据预处理： ```python from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split # 数据预处理 features = long_data.pivot_table(index='patient_id', columns='metric_type', values='measurement_value', aggfunc='mean').reset_index() # 标准化处理 scaler = StandardScaler() scaled_features = scaler.fit_transform(features.drop('patient_id', axis=1)) print(f"标准化后数据形状: {scaled_features.shape}") ``` #### 5. **专业医学数据处理包 - lifelines** 适用于生存分析和复发预测： ```python from lifelines import KaplanMeierFitter from lifelines.statistics import logrank_test # 模拟复发数据 recurrence_data = pd.DataFrame({ 'patient_id': range(1, 279), 'time_to_recurrence': np.random.exponential(180, 278), 'recurrence_status': np.random.binomial(1, 0.3, 278) }) # Kaplan-Meier生存分析 kmf = KaplanMeierFitter() kmf.fit(recurrence_data['time_to_recurrence'], recurrence_data['recurrence_status']) kmf.plot_survival_function() plt.title('疾病复发生存曲线') plt.xlabel('时间(天)') plt.ylabel('生存概率') plt.show() ``` #### 各包功能对比表 | 包名称 | 主要功能 | 在长数据处理中的角色 | 适用场景 | |--------|----------|---------------------|----------| | **pandas** | 数据操作与重塑 | 核心数据转换工具 | 宽转长格式、数据清洗、合并 | | **numpy** | 数值计算 | 基础数值运算支持 | 数学运算、数组操作 | | **matplotlib** | 基础绘图 | 数据可视化 | 趋势图、分布图 | | **seaborn** | 统计可视化 | 高级统计图形 | 多变量关系可视化 | | **statsmodels** | 统计建模 | 面板数据分析 | 混合效应模型、时间序列分析 | | **scikit-learn** | 机器学习 | 特征工程与建模 | 预测模型、分类回归 | | **lifelines** | 生存分析 | 复发时间分析 | 生存曲线、风险比例模型 | #### 完整数据处理流程示例 ```python def process_longitudinal_data(wide_data, patient_ids, time_points, metrics): """ 处理纵向数据的完整流程 """ # 1. 数据重塑 long_data = pd.melt(wide_data, id_vars=patient_ids, value_vars=[f"{tp}_{mt}" for tp in time_points for mt in metrics], var_name='measurement', value_name='value') # 2. 特征提取 long_data[['time_point', 'metric_type']] = long_data['measurement'].str.split('_', expand=True) # 3. 时间编码 time_mapping = {tp: idx*30 for idx, tp in enumerate(time_points)} long_data['time_encoded'] = long_data['time_point'].map(time_mapping) # 4. 数据验证 assert long_data['value'].isna().sum() == 0, "存在缺失值需要处理" return long_data # 应用示例 time_points = ['baseline', 'followup1', 'followup2'] metrics = ['WBC', 'IgE', 'Eosinophil', 'BP180', 'BP230'] processed_data = process_longitudinal_data(wide_data, ['patient_id'], time_points, metrics) ``` 在实际的大疱性类天疱疮疾病复发预测项目中，建议的数据处理流程是：首先使用`pandas`进行数据清洗和格式转换，然后结合`statsmodels`进行探索性统计分析，最后使用`scikit-learn`或`lifelines`构建预测模型。这种组合能够充分发挥各包的专业优势，为临床决策提供可靠的数据支持。[ref_6]