### Python 使用 `os` 和 `pandas` 实现根据字符串匹配筛选 Excel 文件数据 #### 功能概述 通过结合 `os` 模块和 `pandas` 库，可以高效地完成对多个 Excel 文件的数据加载、筛选以及保存操作。具体来说，`os` 模块用于遍历指定目录下的所有文件并过滤出 `.xlsx` 或其他支持的 Excel 文件扩展名；而 `pandas` 提供了强大的数据处理能力，能够利用正则表达式或其他条件快速筛选符合条件的数据。 以下是实现该功能的核心逻辑： 1. **使用 `os.walk()` 遍历目标路径下所有的子目录及其文件列表**。 2. **识别其中属于 Excel 类型的文件（如 `.xlsx`, `.xls` 等）**。 3. **借助 `pandas.read_excel()` 方法逐个读取这些文件的内容至 DataFrame 对象**。 4. **应用字符串匹配规则（可选正则表达式），筛选满足特定条件的记录**。 5. **将最终结果存储回新的 Excel 表格或者追加到已有汇总表中**。 下面是一份完整的代码示例[^1]: ```python import os import pandas as pd def find_and_filter_excel_files(directory, pattern): """ 在指定目录中查找所有 Excel 文件，并按给定模式筛选其内容 参数: directory (str): 待扫描的目标文件夹路径 pattern (str): 正则表达式的字符串形式，用来匹配单元格内的文本 返回值: filtered_df (pd.DataFrame): 合并后的筛选结果集 """ all_dfs = [] # 存储各文件经过初步筛选的结果集合 for root, dirs, files in os.walk(directory): for file_name in files: if not file_name.endswith(('.xlsx', '.xls')): continue try: df = pd.read_excel(os.path.join(root, file_name)) # 基于传入的pattern参数执行行级筛选 mask = df.apply(lambda row: any(row.astype(str).str.contains(pattern)), axis=1) subset = df[mask] if not subset.empty: all_dfs.append(subset) except Exception as e: print(f"Error processing {file_name}: {e}") # 将所有分片DataFrame拼接成单一整体视图 if all_dfs: combined_result = pd.concat(all_dfs, ignore_index=True) return combined_result.drop_duplicates() return None if __name__ == "__main__": search_dir = r"C:\path\to\your\data" regex_pattern = "specific_keyword|another_term" result_df = find_and_filter_excel_files(search_dir, regex_pattern) if isinstance(result_df, pd.DataFrame) and not result_df.empty: output_file_path = os.path.join(search_dir, 'filtered_results.xlsx') with pd.ExcelWriter(output_file_path, engine='openpyxl') as writer: result_df.to_excel(writer, index=False, sheet_name="Filtered Data") print(f"Results saved to '{output_file_path}' successfully.") else: print("No matching records found after filtering.") ``` 上述程序片段展示了如何综合运用操作系统层面的操作与高级数据分析技巧来达成自动化任务的目的[^2]。特别值得注意的是，在实际部署过程中还需要考虑异常情况处理机制以增强健壮性。 --- #### 关键点解析 - **`os.walk()`**: 这一函数允许递归访问整个树形结构中的每一个节点位置，从而方便定位所需资源的位置信息。 - **`pandas.read_excel()` & `pandas.DataFrame.filter()`**: 它们共同构成了核心业务流程的一部分——前者负责导入原始资料源进入内存空间形成易于操控的形式；后者则是依据设定好的准则剔除无关项只保留有用的部分[^3]。 - **Lambda 函数配合 apply() 方法**: 可灵活定义复杂的多列联合判断标准而不局限于单字段比较运算符简单组合方式之上。 ---