### 实现多线程爬虫抓取百度搜索结果 为了实现一个多线程爬虫来抓取百度搜索引擎的结果页面，可以采用 `threading` 库配合 `requests` 和 `BeautifulSoup` 来完成网页请求和解析工作。考虑到 Python 的全局解释器锁 (GIL)，对于 I/O 密集型操作如网络请求，使用多线程确实能提高效率[^2]。 #### 准备环境与依赖包安装 首先确保环境中已安装必要的库： ```bash pip install requests beautifulsoup4 lxml ``` 这些工具分别用于发起 HTTP 请求、解析 HTML 文档以及加速 XML 解析过程。 #### 创建基础函数获取单页数据 定义一个名为 `fetch_page` 的辅助函数负责处理单一 URL 并返回其内容: ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } try: response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, "lxml") items = [] for result in soup.select('.c-container'): title = result.h3.a.get_text(strip=True) if result.h3 else '' link = result.find('a')['href'] if result.find('a') else '' item = {'title': title, 'link': link} items.append(item) return items else: print(f"Failed to retrieve page {url}, status code: {response.status_code}") return None except Exception as e: print(f"Error occurred while fetching {url}: ", str(e)) return None ``` 此部分代码实现了向指定链接发送 GET 请求并尝试从中抽取所需信息的功能。通过设置合理的 User-Agent 可减少被识别为自动化脚本的风险；利用 CSS Selectors 定位到具体标签从而提取标题及超链接地址[^1]。 #### 构建多线程框架执行并发任务 接下来构建一个多线程类来进行批量查询： ```python import threading from queue import Queue class BaiduSpiderThread(threading.Thread): def __init__(self, work_queue): super().__init__() self.work_queue = work_queue def run(self): while not self.work_queue.empty(): url = self.work_queue.get() results = fetch_page(url) if results is not None and isinstance(results, list): save_results(results) # 假设存在这样一个方法用来保存结果 self.work_queue.task_done() def start_spider(urls_list): work_queue = Queue() threads_num = min(8, len(urls_list)) # 控制最大线程数量不超过列表长度 workers = [] for url in urls_list: work_queue.put(url) for _ in range(threads_num): worker = BaiduSpiderThread(work_queue) worker.start() workers.append(worker) for t in workers: t.join() # 等待所有子线程结束 ``` 上述代码片段展示了如何创建自定义线程类继承于 `threading.Thread` 类，并重写了 `run()` 方法以持续从队列中取出URL直到为空为止。这里还引入了一个简单的生产者消费者模型——主线程作为生产者不断往共享队列里填充目标网址，而各个工作者线程则扮演消费者的角⾊依次消费掉它们所对应的资源[^3]。 #### 数据持久化方案建议 最后需要注意的是，在实际应用当中应当考虑好数据的存储方式。可以选择将收集来的条目存入数据库（比如 MySQL 或 MongoDB），也可以简单地追加记录至本地文件系统中的 CSV 文件内以便后续分析处理。