### Python多线程爬虫实现黑马头条评论列表抓取 以下是基于Python的多线程爬虫代码示例，用于抓取黑马头条的评论列表信息，并支持自定义初始值和结束值的功能： #### 实现思路 为了满足需求，可以通过继承`threading.Thread`类的方式创建多个线程，每个线程负责处理一定范围内的数据请求。通过设置起始页码和终止页码，控制爬取的具体页面区间。 #### 完整代码示例 ```python import threading import requests from bs4 import BeautifulSoup class CommentScraper(threading.Thread): def __init__(self, base_url, start_page, end_page): super().__init__() self.base_url = base_url self.start_page = start_page self.end_page = end_page def run(self): for page in range(self.start_page, self.end_page + 1): url = f"{self.base_url}?page={page}" try: response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') comments = soup.find_all('div', class_='comment-content') # 假设评论内容在此标签下 for comment in comments: print(f"Page {page}: {comment.get_text().strip()}") except Exception as e: print(f"Error fetching data from page {page}: {e}") if __name__ == "__main__": # 配置参数 base_url = "https://example.heima.com/comments" # 替换为目标网站的实际URL total_pages = 20 # 总共要爬取的页面数 threads_count = 5 # 设置线程数量 pages_per_thread = (total_pages // threads_count) or 1 threads = [] for i in range(threads_count): start_page = i * pages_per_thread + 1 end_page = min((i + 1) * pages_per_thread, total_pages) thread = CommentScraper(base_url=base_url, start_page=start_page, end_page=end_page) threads.append(thread) thread.start() for t in threads: t.join() ``` #### 关键说明 - **多线程设计**：通过继承`threading.Thread`并重写其`run()`方法，实现了多线程并发执行的任务分配机制[^1]。 - **动态分页逻辑**：根据总页数(`total_pages`)以及指定的线程数(`threads_count`)，自动计算每条线程应处理的起始页码与终止页码。 - **异常捕获**：在实际网络环境中可能存在不稳定因素，因此加入了基本错误捕捉功能以增强程序健壮性。 此脚本假设目标网页结构已知（即评论存储于特定HTML标签内），需依据实际情况调整解析部分的选择器表达式。