在 Python 爬虫开发中，为了提高爬取效率，常常会使用**并发编程**技术，其中最常用的是**线程（threading）**和**进程（multiprocessing）**。它们适用于不同的场景，理解它们的工作原理和使用方式对于编写高效的爬虫程序至关重要。 --- ## 一、线程与进程的区别 | 特性 | 线程（threading） | 进程（multiprocessing） | |------|------------------|--------------------------| | 内存共享 | 同一进程内的线程共享内存空间 | 每个进程有独立的内存空间 | | GIL 限制 | 受 GIL（全局解释器锁）限制，不能真正并行 | 每个进程拥有独立的 GIL，可以并行 | | 创建开销 | 小 | 大 | | 适用场景 | I/O 密集型任务（如网络请求） | CPU 密集型任务（如数据处理） | --- ## 二、线程在爬虫中的使用 线程适用于 I/O 密集型任务，比如爬虫中大量的网络请求。由于网络请求等待时间较长，使用多线程可以在一个线程等待响应时切换到另一个线程继续执行。 ### 示例代码： ```python import threading import requests def fetch_url(url): response = requests.get(url) print(f"{url} -> {response.status_code}") urls = [ "https://www.example.com", "https://www.python.org", "https://www.github.com", ] threads = [] for url in urls: thread = threading.Thread(target=fetch_url, args=(url,)) threads.append(thread) thread.start() for thread in threads: thread.join() ``` --- ## 三、进程在爬虫中的使用 进程适用于 CPU 密集型任务，例如在爬取网页后进行大量文本处理、解析、图像识别等。由于每个进程有独立的 GIL，因此可以真正并行执行多个任务。 ### 示例代码： ```python import multiprocessing import requests def fetch_url(url): response = requests.get(url) print(f"{url} -> {response.status_code}") if __name__ == "__main__": urls = [ "https://www.example.com", "https://www.python.org", "https://www.github.com", ] processes = [] for url in urls: p = multiprocessing.Process(target=fetch_url, args=(url,)) processes.append(p) p.start() for p in processes: p.join() ``` --- ## 四、线程池与进程池的使用（推荐方式） 为了更高效地管理线程/进程，Python 提供了 `concurrent.futures` 模块，支持线程池（ThreadPoolExecutor）和进程池（ProcessPoolExecutor），简化并发代码的编写。 ### 线程池示例： ```python from concurrent.futures import ThreadPoolExecutor import requests def fetch_url(url): response = requests.get(url) return f"{url} -> {response.status_code}" urls = [ "https://www.example.com", "https://www.python.org", "https://www.github.com", ] with ThreadPoolExecutor(max_workers=5) as executor: results = executor.map(fetch_url, urls) for result in results: print(result) ``` ### 进程池示例： ```python from concurrent.futures import ProcessPoolExecutor import requests def fetch_url(url): response = requests.get(url) return f"{url} -> {response.status_code}" if __name__ == "__main__": urls = [ "https://www.example.com", "https://www.python.org", "https://www.github.com", ] with ProcessPoolExecutor() as executor: results = executor.map(fetch_url, urls) for result in results: print(result) ``` --- ## 五、使用建议 - **爬虫主任务**（网络请求）：使用线程或线程池。 - **后续处理任务**（如解析、分析）：如果涉及大量计算，使用进程或进程池。 - **混合使用**：可以结合线程和进程，例如用线程进行网络请求，再将数据传递给进程进行处理。 --- ## 六、注意事项 1. **GIL 限制**：在 CPython 中，多线程无法利用多核 CPU。 2. **资源竞争**：线程间共享内存，需要注意锁机制。 3. **进程间通信**：进程间通信成本高，必要时使用 `multiprocessing.Queue` 或 `Manager`。 4. **异步替代方案**：对于高并发爬虫，也可以使用 `asyncio` + `aiohttp` 实现异步爬虫。 --- ###