### 志愿者活动统计分析的数据预处理 以下是针对志愿者活动情况统计分析的Jupyter代码实现，涵盖了数据预处理的关键环节：描述性分析、缺失值处理和异常值处理。 #### 数据加载与初步探索 首先，通过`pandas`库读取数据文件，并对数据结构进行初步了解。 ```python import pandas as pd import numpy as np # 加载数据 data = pd.read_excel('data_health.xlsx') # 查看前几行数据 print(data.head()) # 查看数据基本信息 print(data.info()) # 统计每列的缺失值数量 missing_values = data.isnull().sum() print(missing_values) # 计算描述性统计数据 descriptive_stats = data.describe(include='all') print(descriptive_stats) ``` #### 缺失值处理 对于存在缺失值的情况，可以选择填充或者删除的方式。这里采用均值填补的方法来处理数值型变量中的缺失值[^2]。 ```python # 均值填补数值型变量的缺失值 for column in ['Weight', 'VitalCapacity']: mean_value = data[column].mean() data[column].fillna(mean_value, inplace=True) # 对于类别型变量（如果有的话），可以使用众数填补 if 'ActivityType' in data.columns: mode_value = data['ActivityType'].mode()[0] data['ActivityType'].fillna(mode_value, inplace=True) # 验证缺失值是否已被处理 print(data.isnull().sum()) ``` #### 异常值检测与处理 利用箱线图原理或Z分数方法检测并剔除异常值。以下代码展示了基于Z分数的异常值处理方式。 ```python from scipy import stats # 定义函数用于移除异常值 def remove_outliers(df, columns): for col in columns: z_scores = np.abs(stats.zscore(df[col])) df = df[(z_scores < 3)] return df # 应用到指定列 columns_to_check = ['Weight', 'VitalCapacity'] cleaned_data = remove_outliers(data, columns_to_check) # 输出清理后的数据规模 print(f"原始数据条目数: {len(data)}") print(f"去除异常值后数据条目数: {len(cleaned_data)}") ``` #### 时间戳准确性验证与时长计算 为了确保时间戳的准确性和数据间隔的合理性，在此提供一种简单的时间序列校验逻辑。 ```python # 转换时间戳为datetime格式 data['Timestamp'] = pd.to_datetime(data['Timestamp']) # 排序按时间顺序排列 sorted_data = cleaned_data.sort_values(by='Timestamp') # 检查相邻记录之间的时间差 time_diffs = sorted_data['Timestamp'].diff() # 找出不合理的大时间间隔 large_gaps = time_diffs[time_diffs > pd.Timedelta(minutes=10)] # 假设超过10分钟视为异常 print(large_gaps) # 如果发现大间隙，则考虑插补或标记为无效数据 invalid_indices = large_gaps.index.tolist() filtered_data = sorted_data.drop(invalid_indices).reset_index(drop=True) # 计算不同活动状态下的总时长 grouped_by_activity = filtered_data.groupby('ActivityState')['Timestamp'].agg(['min', 'max']) grouped_by_activity['Duration'] = grouped_by_activity['max'] - grouped_by_activity['min'] print(grouped_by_activity[['Duration']]) ``` 以上代码实现了从数据加载到最终时长统计的一系列操作，覆盖了描述性分析、缺失值处理和异常值处理等多个方面[^1]。