# Pandas DataFrame按条件选择数据全面指南 在数据分析工作中，按条件筛选数据是最常见且重要的操作之一。Pandas提供了多种灵活的方法来实现DataFrame的条件选择，能够满足各种复杂的数据筛选需求[ref_3]。 ## 一、条件选择的基本方法 ### 1.1 布尔索引筛选 布尔索引是Pandas中最常用的条件筛选方式，通过创建布尔条件表达式来筛选数据。 ```python import pandas as pd import numpy as np # 创建示例DataFrame data = { '姓名': ['张三', '李四', '王五', '赵六', '钱七'], '年龄': [25, 30, 35, 28, 32], '部门': ['技术部', '销售部', '技术部', '人事部', '销售部'], '工资': [8000, 12000, 15000, 9000, 11000] } df = pd.DataFrame(data) # 单条件筛选：选择年龄大于30的员工 condition1 = df['年龄'] > 30 result1 = df[condition1] print("年龄大于30的员工：") print(result1) # 多条件筛选：选择技术部且工资大于10000的员工 condition2 = (df['部门'] == '技术部') & (df['工资'] > 10000) result2 = df[condition2] print("\n技术部且工资大于10000的员工：") print(result2) ``` ### 1.2 使用loc和iloc进行条件选择 loc基于标签进行选择，iloc基于位置进行选择，两者都支持条件筛选[ref_4]。 ```python # 使用loc进行条件选择 tech_employees = df.loc[df['部门'] == '技术部', :] # 选择技术部的所有列 print("技术部员工：") print(tech_employees) # 使用loc选择特定列 tech_salary = df.loc[df['部门'] == '技术部', ['姓名', '工资']] print("\n技术部员工姓名和工资：") print(tech_salary) # 使用iloc结合条件选择 condition = df['年龄'] > 30 selected_rows = df.iloc[condition.values] # 注意：需要将条件转换为values print("\n年龄大于30的员工（使用iloc）：") print(selected_rows) ``` ## 二、复杂条件筛选 ### 2.1 多条件组合 Pandas支持使用逻辑运算符组合多个条件[ref_5]。 ```python # 使用 & (与)、| (或)、~ (非) 组合条件 complex_condition = ((df['年龄'] > 28) & (df['工资'] < 13000)) | (df['部门'] == '人事部') complex_result = df[complex_condition] print("复杂条件筛选结果：") print(complex_result) # 排除特定部门 exclude_condition = ~(df['部门'].isin(['人事部'])) exclude_result = df[exclude_condition] print("\n排除人事部的员工：") print(exclude_result) ``` ### 2.2 使用isin()方法 isin()方法用于检查值是否在指定列表中，特别适合多值筛选。 ```python # 选择多个部门的员工 departments = ['技术部', '销售部'] department_filter = df['部门'].isin(departments) department_result = df[department_filter] print("技术部和销售部员工：") print(department_result) # 结合其他条件 combined_filter = df['部门'].isin(['技术部', '销售部']) & (df['年龄'] > 25) combined_result = df[combined_filter] print("\n技术部和销售部中年龄大于25的员工：") print(combined_result) ``` ## 三、函数式条件筛选 ### 3.1 使用query()方法 query()方法提供了一种更简洁的字符串表达式方式来筛选数据。 ```python # 使用query进行条件筛选 query_result1 = df.query("年龄 > 30 and 工资 > 10000") print("年龄>30且工资>10000的员工：") print(query_result1) # 使用变量进行query筛选 min_age = 28 max_salary = 12000 query_result2 = df.query("年龄 >= @min_age and 工资 <= @max_salary") print(f"\n年龄>={min_age}且工资<={max_salary}的员工：") print(query_result2) # 字符串条件查询 query_result3 = df.query("部门 in ['技术部', '销售部']") print("\n技术部和销售部员工（使用query）：") print(query_result3) ``` ### 3.2 使用apply()和lambda函数 对于复杂的自定义条件，可以使用apply()方法配合lambda函数。 ```python # 使用apply进行复杂条件筛选 def custom_condition(row): """自定义条件：年龄在25-35之间且工资高于部门平均工资""" dept_avg_salary = df[df['部门'] == row['部门']]['工资'].mean() return (25 <= row['年龄'] <= 35) and (row['工资'] > dept_avg_salary) custom_result = df[df.apply(custom_condition, axis=1)] print("满足自定义条件的员工：") print(custom_result) # 使用lambda函数简化 lambda_result = df[df.apply(lambda x: x['年龄'] > 30 and x['工资'] > 10000, axis=1)] print("\n使用lambda筛选年龄>30且工资>10000的员工：") print(lambda_result) ``` ## 四、高级筛选技巧 ### 4.1 基于字符串的模糊匹配 ```python # 字符串包含筛选 name_contains = df[df['姓名'].str.contains('三|五')] # 姓名包含"三"或"五" print("姓名包含'三'或'五'的员工：") print(name_contains) # 字符串开头/结尾匹配 name_starts_with = df[df['姓名'].str.startswith('张')] print("\n姓张的员工：") print(name_starts_with) ``` ### 4.2 数值范围筛选 ```python # 使用between方法 age_range = df[df['年龄'].between(25, 30)] # 年龄在25-30之间（包含边界） print("年龄在25-30之间的员工：") print(age_range) # 使用quantile进行分位数筛选 salary_high = df[df['工资'] > df['工资'].quantile(0.75)] # 工资高于75%分位数 print("\n工资高于75%分位数的员工：") print(salary_high) ``` ## 五、条件选择的应用场景 ### 5.1 数据清洗中的条件选择 ```python # 处理缺失值 df_with_na = df.copy() df_with_na.loc[2, '工资'] = np.nan # 添加一个缺失值 # 选择非空值 non_null_salary = df_with_na[df_with_na['工资'].notna()] print("工资非空的员工：") print(non_null_salary) # 选择特定范围的异常值 outliers = df[(df['工资'] < 5000) | (df['工资'] > 20000)] print("\n可能的异常值（工资<5000或>20000）：") print(outliers) ``` ### 5.2 分组条件筛选 ```python # 按部门分组后筛选 def filter_by_department(group): """每个部门中工资最高的员工""" return group[group['工资'] == group['工资'].max()] department_best = df.groupby('部门').apply(filter_by_department) print("各部门工资最高的员工：") print(department_best) # 使用transform进行组内比较 df['部门平均工资'] = df.groupby('部门')['工资'].transform('mean') above_avg = df[df['工资'] > df['部门平均工资']] print("\n工资高于部门平均水平的员工：") print(above_avg) ``` ## 六、性能优化建议 ### 6.1 使用向量化操作 ```python # 好的做法：向量化操作 vectorized_result = df[(df['年龄'] > 30) & (df['工资'] > 10000)] # 避免的做法：循环操作（性能较差） bad_result = pd.DataFrame() for index, row in df.iterrows(): if row['年龄'] > 30 and row['工资'] > 10000: bad_result = pd.concat([bad_result, pd.DataFrame([row])]) ``` ### 6.2 使用numpy加速 ```python # 对于大型数据集，可以使用numpy加速 import numpy as np # 将条件转换为numpy数组进行筛选 age_array = df['年龄'].values salary_array = df['工资'].values mask = (age_array > 30) & (salary_array > 10000) numpy_result = df.iloc[np.where(mask)[0]] ``` 通过掌握这些条件选择方法，您可以高效地从DataFrame中提取所需数据，为后续的数据分析和处理奠定坚实基础[ref_3][ref_4][ref_5]。在实际应用中，建议根据数据规模和筛选复杂度选择最适合的方法，以获得最佳的性能和代码可读性。