### 数据预处理的最佳实践与代码示例 #### 数据预处理的重要性 在招聘数据分析过程中，原始数据往往存在缺失值、重复记录、不一致的格式等问题。因此，数据预处理是确保后续分析准确性的重要环节[^1]。 --- #### 1. 缺失值处理 缺失值可能影响模型训练或统计结果的真实性。常见的解决策略包括删除含有缺失值的行/列、填充默认值或其他合理估计值。 ```python import pandas as pd # 加载数据 df = pd.read_csv('recruitment_data.csv') # 删除含有大量缺失值的列（如超过50%） threshold = int(len(df) * 0.5) df_cleaned = df.dropna(axis=1, thresh=threshold) # 对特定字段进行均值填补（适用于数值型变量） mean_salary = df_cleaned['Salary'].mean() df_cleaned['Salary'] = df_cleaned['Salary'].fillna(mean_salary) # 对分类字段使用众数填补 mode_workplace = df_cleaned['Workplace'].mode()[0] df_cleaned['Workplace'] = df_cleaned['Workplace'].fillna(mode_workplace) ``` --- #### 2. 数据去重 重复记录可能导致偏差放大效应，需及时清理。 ```python # 查看是否有重复项 duplicates = df.duplicated() # 如果有，则移除这些重复项 if duplicates.any(): df_deduped = df_cleaned.drop_duplicates(inplace=False) else: df_deduped = df_cleaned.copy() # 防止原数据被修改 ``` --- #### 3. 类别编码 许多算法无法直接处理字符串类型的类别特征，需要将其转化为数值形式。 ```python from sklearn.preprocessing import LabelEncoder # 初始化LabelEncoder对象 label_encoder = LabelEncoder() # 将'IndustryField'(行业领域)转为整数标签 df_encoded = df_deduped.copy() df_encoded['IndustryFieldEncoded'] = label_encoder.fit_transform( df_encoded['IndustryField'] ) ``` --- #### 4. 特征工程 创建新的有意义特征有助于揭示潜在规律。 ```python # 新增一列表达薪资范围中心值 def calculate_midpoint(salary_range): try: lower, upper = map(float, salary_range.split('-')) return (lower + upper) / 2 except Exception: return None df_engineered = df_encoded.copy() df_engineered['MidSalary'] = df_engineered['SalaryRange'].apply(calculate_midpoint) # 添加经验年份分组标志位 bins = [-float('inf'), 1, 3, 5, float('inf')] labels = ['Junior', 'Intermediate', 'Senior', 'Expert'] df_engineered['ExperienceLevel'] = pd.cut( df_engineered['WorkYear'], bins=bins, labels=labels, right=True ) ``` --- #### 5. 异常值检测 异常值可能会扭曲整体分布状况，应单独识别并决定保留还是剔除。 ```python import numpy as np # 定义IQR方法筛选离群点 Q1 = df_engineered['MidSalary'].quantile(0.25) Q3 = df_engineered['MidSalary'].quantile(0.75) IQR = Q3 - Q1 # 设置上下限阈值 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR # 找到超出界限的数据索引 outliers = ( (df_engineered['MidSalary'] < lower_bound) | (df_engineered['MidSalary'] > upper_bound) ) # 移除外层噪声样本 df_final = df_engineered.loc[~outliers].reset_index(drop=True) ``` --- #### 总结说明 以上流程涵盖了从基本清洁到高级转化的一系列步骤，旨在优化输入质量从而获得更加可靠的结论支持业务洞察力提升[^2]^。