### Python多核多线程读取文件夹内所有CSV文件并以字典形式返回 为了实现多核多线程读取文件夹内的所有CSV文件并将结果以字典形式返回，可以结合`concurrent.futures`模块中的`ThreadPoolExecutor`和`ProcessPoolExecutor`来分别利用线程和进程的优势[^4]。以下是一个完整的解决方案。 #### 代码实现 ```python import os import pandas as pd from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, as_completed def read_csv(file_path): """读取单个CSV文件""" try: return pd.read_csv(file_path) except Exception as e: print(f"Error reading {file_path}: {e}") return None def read_all_csvs_in_folder(folder_path, max_workers=None): """使用多线程或多进程读取文件夹内所有CSV文件""" # 获取文件夹内所有CSV文件路径 csv_files = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.csv')] # 使用多线程或多进程执行任务 results = {} with ProcessPoolExecutor(max_workers=max_workers) as executor: # 或使用ThreadPoolExecutor future_to_file = {executor.submit(read_csv, file_path): file_path for file_path in csv_files} for future in as_completed(future_to_file): file_path = future_to_file[future] file_name = os.path.basename(file_path) try: data = future.result() results[file_name] = data except Exception as exc: print(f'{file_name} generated an exception: {exc}') return results # 示例调用 folder_path = "./csv_files" # 替换为实际文件夹路径 results = read_all_csvs_in_folder(folder_path, max_workers=4) for file_name, data in results.items(): print(f"{file_name} has shape {data.shape if data is not None else 'Error'}") ``` #### 代码说明 - **`read_csv`函数**：负责读取单个CSV文件。如果读取失败，会打印错误信息并返回`None`。 - **`read_all_csvs_in_folder`函数**：通过`ProcessPoolExecutor`或`ThreadPoolExecutor`创建多个工作线程或进程，用于并行处理CSV文件的读取任务。最终将结果整理为以文件名为键、数据框为值的字典[^4]。 - **`max_workers`参数**：控制并发的线程或进程数量。如果不指定，默认值为系统CPU核心数。 #### 注意事项 - 使用`ProcessPoolExecutor`时，每个进程都有独立的内存空间，因此适合处理大型文件或需要大量计算的任务[^3]。 - 如果任务主要是I/O密集型（如读取文件），`ThreadPoolExecutor`可能更合适，因为它避免了GIL对多线程的限制[^4]。 - 在实际应用中，可以根据任务特性和硬件资源选择合适的执行器类型。 #### 性能优化建议 - 对于非常大的CSV文件，可以考虑分块读取以减少内存占用[^2]。 - 如果文件数量较多但文件较小，增加`max_workers`参数可能会提高性能。 - 在高并发场景下，注意监控系统资源使用情况，避免过度消耗CPU或内存。