要使用 Python 批量抓取多个网页并将其保存为文本文件，可以使用 `requests` 库来发送 HTTP 请求，使用 `BeautifulSoup` 来解析 HTML 内容（可选），然后将提取的文本保存为 `.txt` 文件。 以下是一个完整的示例代码： ```python import os import requests from bs4 import BeautifulSoup # 设置保存文本的目录 OUTPUT_DIR = "web_texts" # 创建目录（如果不存在） os.makedirs(OUTPUT_DIR, exist_ok=True) # 获取网页文本内容 def fetch_text_from_url(url): try: response = requests.get(url, timeout=10) response.raise_for_status() # 如果响应状态码不是200，抛出异常 soup = BeautifulSoup(response.text, 'html.parser') # 提取网页中的纯文本内容 text = soup.get_text() # 清理文本，去除多余的空白 cleaned_text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()]) return cleaned_text except Exception as e: print(f"无法抓取 {url}: {e}") return None # 保存文本到文件 def save_text_to_file(text, filename): filepath = os.path.join(OUTPUT_DIR, filename) with open(filepath, 'w', encoding='utf-8') as f: f.write(text) print(f"已保存: {filepath}") # 批量抓取多个网页 def batch_fetch(urls): for i, url in enumerate(urls): print(f"正在抓取第 {i+1} 个网页: {url}") text = fetch_text_from_url(url) if text: filename = f"page_{i+1}.txt" save_text_to_file(text, filename) # 示例：多个网页URL urls = [ 'https://example.com/page1', 'https://example.com/page2', 'https://example.com/page3', ] if __name__ == '__main__': batch_fetch(urls) ``` ### 代码解释： 1. **`fetch_text_from_url(url)`**: - 使用 `requests.get()` 向指定 URL 发送请求。 - 使用 `BeautifulSoup` 解析 HTML 文本，提取纯文本内容。 - 清理空白行和前后空格。 2. **`save_text_to_file(text, filename)`**: - 将提取的文本保存为 `.txt` 文件，文件名如 `page_1.txt`。 - 文件保存在 `web_texts` 目录中。 3. **`batch_fetch(urls)`**: - 遍历 URL 列表，逐个抓取网页并保存。 4. **依赖库安装**: - 需要安装 `requests` 和 `beautifulsoup4`： ```bash pip install requests beautifulsoup4 ``` --- ###