在 Python 中，**并行处理**（parallel processing）是提升程序性能的重要手段，尤其是在处理计算密集型任务或 I/O 密集型任务时。Python 提供了多种机制来实现并行处理，包括 `threading`、`multiprocessing`、协程（coroutines）、以及第三方库如 `Celery` 和 `concurrent.futures`。 ### 多线程（Multithreading） `threading` 模块用于实现多线程操作，适合处理 I/O 密集型任务，如网络请求、文件读写等。由于 Python 中的全局解释器锁（GIL）限制，多线程无法实现真正的并行 CPU 计算，但在等待 I/O 操作完成时可以切换线程以提高效率[^1]。 #### 示例代码：使用 threading 模块 ```python import threading import time def worker(num): print(f"Worker {num} is starting...") time.sleep(2) print(f"Worker {num} finished.") threads = [] for i in range(5): t = threading.Thread(target=worker, args=(i,)) threads.append(t) t.start() for t in threads: t.join() print("All workers are done.") ``` ### 多进程（Multiprocessing） `multiprocessing` 模块允许创建多个进程，每个进程拥有独立的 Python 解释器和内存空间，因此可以绕过 GIL 的限制，实现真正的并行计算。它适用于 CPU 密集型任务，如图像处理、科学计算等[^2]。 #### 示例代码：使用 multiprocessing 模块 ```python import multiprocessing import time def worker(num): print(f"Worker {num} is starting...") time.sleep(2) print(f"Worker {num} finished.") if __name__ == "__main__": processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() print("All processes are done.") ``` ### 进程间通信（Inter-Process Communication, IPC） 当使用多进程时，进程之间通常需要交换数据或共享状态。Python 的 `multiprocessing` 模块提供了多种通信机制，包括 `Queue`、`Pipe`、`Value` 和 `Array` 等[^3]。 #### 示例代码：使用 Queue 进行进程间通信 ```python import multiprocessing def worker(queue): queue.put("Data from worker") if __name__ == "__main__": q = multiprocessing.Queue() p = multiprocessing.Process(target=worker, args=(q,)) p.start() print(f"Received: {q.get()}") p.join() ``` ### 并发编程与异步任务调度 Python 的 `concurrent.futures` 模块提供了一个高级接口，可以方便地使用线程池（`ThreadPoolExecutor`）或进程池（`ProcessPoolExecutor`）来管理并发任务。此外，`Celery` 是一个功能强大的异步任务队列系统，支持任务调度、分布式执行等高级特性[^4]。 #### 示例代码：使用 concurrent.futures 实现并行任务 ```python from concurrent.futures import ThreadPoolExecutor import requests def fetch_url(url): response = requests.get(url) return response.status_code urls = ["https://example.com", "https://example.org", "https://example.net"] with ThreadPoolExecutor(max_workers=5) as executor: results = list(executor.map(fetch_url, urls)) print("Status codes:", results) ``` ### 总结 - **线程**适用于 I/O 密集型任务，但受 GIL 限制，不能充分利用多核 CPU。 - **多进程**适用于 CPU 密集型任务，能够实现真正的并行计算。 - **并发编程**可以通过 `concurrent.futures` 或第三方库如 `Celery` 来实现更灵活的任务调度和分布式处理。