在 Python 中，`ProcessPoolExecutor` 是 `concurrent.futures` 模块提供的一个高级接口，用于管理进程池并执行并行任务。它通过多进程的方式实现并行处理，特别适合 CPU 密集型任务[^1]。 ### 基本使用方法 `ProcessPoolExecutor` 的核心思想是将任务分发到多个进程中执行，从而利用多核 CPU 提升计算效率。使用步骤如下： 1. **导入模块** ```python from concurrent.futures import ProcessPoolExecutor import time ``` 2. **定义处理函数** 该函数是需要并行执行的任务，例如： ```python def process_task(n): time.sleep(1) # 模拟耗时操作 return n * n ``` 3. **主函数中创建进程池并提交任务** 使用 `with` 语句自动管理资源，确保进程池正确关闭： ```python def main(): numbers = [1, 2, 3, 4, 5] with ProcessPoolExecutor(max_workers=4) as executor: results = list(executor.map(process_task, numbers)) print(results) ``` 4. **运行主函数** ```python if __name__ == '__main__': main() ``` ### 并行处理示例 以下是一个完整的 `ProcessPoolExecutor` 示例，展示了如何将任务分发到多个进程中，并统计执行时间： ```python from concurrent.futures import ProcessPoolExecutor import time def process_task(n): time.sleep(1) # 模拟耗时任务 return n * n def main(): numbers = [1, 2, 3, 4, 5] start_time = time.time() with ProcessPoolExecutor(max_workers=4) as executor: results = list(executor.map(process_task, numbers)) end_time = time.time() print(f"结果: {results}") print(f"耗时: {end_time - start_time:.2f} 秒") if __name__ == '__main__': main() ``` ### 关键点说明 - `max_workers` 参数用于指定最大并发进程数，通常设置为 CPU 核心数。 - `executor.map()` 会将任务依次分配给进程池中的进程，并按顺序返回结果。 - 使用 `with` 语句可以确保进程池在任务完成后正确关闭[^1]。 ### 异常处理 在实际应用中，可能需要处理任务执行过程中发生的异常。可以通过 `concurrent.futures.as_completed()` 来捕获异常： ```python from concurrent.futures import ProcessPoolExecutor, as_completed def faulty_task(n): if n == 3: raise ValueError("任务失败") return n * n def main(): numbers = [1, 2, 3, 4, 5] with ProcessPoolExecutor(max_workers=4) as executor: futures = {executor.submit(faulty_task, n): n for n in numbers} for future in as_completed(futures): try: result = future.result() print(f"结果: {result}") except Exception as e: print(f"任务失败: {e}") if __name__ == '__main__': main() ``` ### 适用场景 - **CPU 密集型任务**：如数值计算、图像处理等。 - **任务独立性强**：各个任务之间无共享状态，适合并行处理。 - **需要提升执行效率**：利用多核 CPU 加速任务完成速度[^2]。 ### 注意事项 - 不适合 I/O 密集型任务，这类任务更适合使用 `ThreadPoolExecutor`。 - 需要确保任务函数可以被序列化（即支持 `pickle`），否则在进程间通信时会出错。 - 避免在 Windows 上使用全局变量或未定义的函数，否则可能导致进程启动失败。