### Python多进程等待所有进程结束 在Python中，`multiprocessing`模块提供了强大的功能用于实现多进程编程。为了确保主程序能够等待所有子进程完成后再继续运行，可以使用`join()`方法。 以下是具体说明： #### 使用 `Pool` 和 `join` 通过创建一个进程池 (`Pool`) 来管理多个子进程，并调用其`close()`和`join()`方法来控制流程[^1]。 - 调用`p.close()`表示不再向进程池提交新任务。 - 调用`p.join()`则会让主进程阻塞直到所有子进程执行完毕。 下面是一个完整的例子展示如何利用这些特性： ```python from multiprocessing import Pool import time import os def worker_function(n): print(f"Worker {n} (PID: {os.getpid()}) is running.") time.sleep(2) # Simulate some work. return n * n if __name__ == '__main__': pool = Pool(processes=4) # 创建一个包含4个进程的进程池 results = [] for i in range(8): # 提交8个任务到进程池 result = pool.apply_async(worker_function, args=(i,)) results.append(result) pool.close() # 停止接受更多任务 pool.join() # 主进程在此处等待直至所有子进程完成工作 final_results = [res.get() for res in results] # 收集结果 print("All processes have finished:", final_results) ``` 在这个脚本里，我们定义了一个简单的worker函数用来模拟计算操作。随后，在主程序部分，先建立好进程池对象pool，接着循环往这个池子里加入异步的任务。最后关闭进程池输入通道并通过`join`让主线程暂停下来等着各个子线程全部跑完才往下走。 #### 设置最大任务数每子进程 除了基本的功能外，还可以设定每个子进程最多能承担多少次任务之后就自动销毁重建新的子进程实例，这有助于防止长期存在的内存泄漏等问题发生。可以通过给`Pool`构造器传递参数`maxtasksperchild`做到这一点[^2]: ```python p = Pool(processes=3, maxtasksperchild=3) ``` 这样配置下，每一个被启动出来的子进程只负责处理三个任务即会被回收掉重新生成一个新的替代它继续干活儿。 #### 动态监控系统资源情况下的应用案例 有时候可能还需要动态获取当前系统的实际负载状况从而决定最佳的并发度大小。这时就可以借助第三方库比如`psutil`来进行辅助判断[^3]: ```python import psutil cpu_count = psutil.cpu_count(logical=False) # 获取物理CPU核心数目 print(f'Physical CPU cores count: {cpu_count}') process_pool_size = min(cpu_count*2, len(tasks)) # 根据任务量与硬件能力取较小值作为最终规模限制 ``` 这里展示了怎样依据机器本身的性能特点来自适应调整我们的多进程方案设计思路。 --- ### 总结 综上所述，要实现在Python中的多进程模型并且保证所有子进程完成后才能进行后续逻辑的操作非常简单明了——只需要合理运用`multiprocessing.Pool`类所提供的API接口即可达成目标。其中关键是掌握住何时应该调用哪些特定的方法(`apply_async`, `close`, `join`)以及它们各自的作用范围所在之处。