### 构建基于 `requests` 的多线程网络爬虫 为了实现一个多线程的网络爬虫，可以利用 Python 中的 `threading` 模块以及 `requests` 库来进行网页请求。下面是一个简单的例子展示如何创建这样的爬虫。 #### 多线程爬虫核心逻辑 ```python import threading import requests from queue import Queue class CrawlerThread(threading.Thread): def __init__(self, url_queue, result_list): super().__init__() self.url_queue = url_queue self.result_list = result_list def run(self): while not self.url_queue.empty(): try: url = self.url_queue.get_nowait() response = requests.get(url) if response.status_code == 200: self.result_list.append(response.text[:100]) # 假设只保存前100字符的内容 except Exception as e: print(f"Error fetching {url}: {e}") finally: self.url_queue.task_done() def start_crawling(urls, num_threads=5): q = Queue(maxsize=0) # 使用队列存储待访问链接 results = [] for url in urls: q.put(url) threads = [] for _ in range(num_threads): thread = CrawlerThread(q, results) thread.start() threads.append(thread) for t in threads: t.join() return results ``` 这段代码展示了如何使用 `Queue` 来分配任务给多个线程，并让它们并发地抓取页面内容[^3]。 #### 集成 GUI 界面 对于图形用户界面部分，可以选择 Tkinter 或 PyQt5 这样的框架来构建应用程序。这里给出一个使用 Tkinter 实现的基础结构： ```python import tkinter as tk from tkinter import ttk from threading import Thread import time class App(tk.Tk): def __init__(self): super().__init__() self.title("Multi-threaded Web Scraper") frame = ttk.Frame(self, padding="10") frame.grid(row=0, column=0, sticky=(tk.W, tk.E, tk.N, tk.S)) label_urls = ttk.Label(frame, text="Enter URLs (one per line): ") entry_urls = tk.Text(frame, width=40, height=10) button_start = ttk.Button( frame, text="Start Crawling", command=self.on_start_button_click ) scrollbar_results = ttk.Scrollbar(frame, orient=tk.VERTICAL) listbox_results = tk.Listbox( frame, yscrollcommand=scrollbar_results.set, selectmode=tk.BROWSE, exportselection=False ) scrollbar_results.config(command=listbox_results.yview) label_urls.grid(column=0, row=0, pady=5) entry_urls.grid(column=0, row=1, padx=5, pady=5) button_start.grid(column=0, row=2, pady=5) listbox_results.grid(column=0, row=3, padx=5, pady=5, sticky='nsew') scrollbar_results.grid(column=1, row=3, sticky='ns') frame.columnconfigure(0, weight=1) frame.rowconfigure(3, weight=1) def on_start_button_click(self): input_text = self.entry_urls.get('1.0', 'end').strip().splitlines() crawler_thread = Thread(target=start_crawling, args=(input_text,)) crawler_thread.daemon = True crawler_thread.start() if __name__ == "__main__": app = App() app.mainloop() ``` 此段代码建立了一个基本的应用程序窗口，其中包含了输入框用于接收要爬取的目标 URL 列表，还有一个按钮用来启动爬虫操作。当点击“开始爬取”按钮时，会开启一个新的后台线程去执行实际的数据收集工作[^1]。