### Python 爬虫多任务同时爬取的实现方式 #### 1. 利用多线程或多进程 Python 的 `threading` 或 `multiprocessing` 模块能够帮助实现多任务的同时爬取。对于 I/O 密集型的任务（如网络请求），通常推荐使用多线程；而对于 CPU 密集型任务，则更适合采用多进程。 以下是基于 `concurrent.futures.ThreadPoolExecutor` 的一个多线程爬取示例： ```python import concurrent.futures import requests def fetch_url(url): response = requests.get(url) return f"Fetched {url}, status code: {response.status_code}" # 输出状态码以便确认成功与否[^1] urls = ["https://example.com/page1", "https://example.com/page2", "https://example.com/page3"] with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: results = list(executor.map(fetch_url, urls)) for result in results: print(result) ``` 此代码利用线程池并发地向多个 URL 发起 HTTP 请求，从而提升效率[^4]。 #### 2. 基于异步编程 (asyncio 和 aiohttp) 另一种高效的解决方案是借助 Python 中的异步特性。通过 `asyncio` 结合 `aiohttp` 可以显著降低等待时间带来的性能损耗。 下面是一个简单的异步爬取例子： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(urls): tasks = [] async with aiohttp.ClientSession() as session: for url in urls: task = asyncio.create_task(fetch(session, url)) tasks.append(task) responses = await asyncio.gather(*tasks) return responses if __name__ == "__main__": urls = ["https://example.com/page1", "https://example.com/page2", "https://example.com/page3"] loop = asyncio.get_event_loop() htmls = loop.run_until_complete(main(urls)) for idx, html in enumerate(htmls): print(f"Page {idx + 1} fetched successfully.") ``` 该脚本创建了一个会话对象用于管理连接，并针对每个目标网址启动独立的任务。最终收集所有的响应结果[^4]。 #### 3. 队列与生产者消费者模式 当面对更复杂的场景时，比如需要动态生成待抓取链接或者限制最大并发数，可以引入队列机制配合生产者-消费者模型。这里展示一个基础版本： ```python from queue import Queue from threading import Thread import requests queue = Queue() def producer(urls): for url in urls: queue.put(url) def consumer(): while not queue.empty(): url = queue.get() try: res = requests.get(url) print(res.url, res.status_code) except Exception as e: print(e) finally: queue.task_done() if __name__ == '__main__': target_urls = ['https://www.example.com'] * 10 threads_num = min(5, len(target_urls)) producer_threads = Thread(target=producer, args=(target_urls,)) consumers = [Thread(target=consumer) for _ in range(threads_num)] producer_threads.start() for c in consumers: c.start() producer_threads.join() for c in consumers: c.join() ``` 这段程序先由生产者将所有需处理的目标放入队列中，随后若干个消费者不断取出这些项目直至清空整个队列。 --- ### 注意事项 尽管上述方法均能有效支持多任务爬取，但在实际应用过程中还需注意以下几点： - **反爬策略规避**：频繁的大规模访问容易触发目标站点的安全防护措施，因此建议适当加入随机延时或模拟真实用户行为。 - **资源消耗控制**：无论是线程还是协程数量都应合理设定上限以免耗尽系统内存或其他硬件资源。 - **异常情况捕获**：网络状况不稳定可能导致部分请求失败，故应在代码层面做好错误恢复逻辑的设计。 ---