### 使用 Python 爬虫抓取小说页面文字内容并保存至本地 #### 抓取网页内容 为了从指定的小说页面中提取文字内容，可以使用 `Requests` 库发送 HTTP 请求获取网页源码，并借助 `BeautifulSoup` 解析 HTML 文档结构。以下是具体实现方法： ```python import requests from bs4 import BeautifulSoup def fetch_novel_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') content_div = soup.find('div', class_='content') # 假设小说正文位于此类名下 paragraphs = content_div.find_all('p') if content_div else [] text_content = '\n'.join([para.get_text() for para in paragraphs]) return text_content else: raise Exception(f"Failed to retrieve the page: {response.status_code}") ``` 上述代码实现了从小说页面中提取文字的功能[^2]。 #### 将内容保存到本地文件 一旦成功抓取了小说的内容，就可以将其写入本地文件以便后续阅读或分析： ```python def save_to_file(content, filename="novel.txt"): with open(filename, "w", encoding="utf-8") as file: file.write(content) if __name__ == "__main__": url = "https://example.com/novel/chapter" novel_content = fetch_novel_content(url) save_to_file(novel_content, "chapter_1.txt") ``` 此部分展示了如何将爬取下来的数据存储为 `.txt` 文件的形式存放在用户的计算机硬盘上。 #### 处理动态加载的页面 如果目标网站采用了 JavaScript 动态渲染的方式，则需要额外引入工具模拟浏览器行为完成数据采集工作。推荐两种主流方案——Selenium 或 Playwright 来应对这种情况下的挑战: ##### 方案 A: Selenium 实现自动化浏览操作 安装依赖项之后初始化 WebDriver 并访问对应地址即可获得完整的 DOM 结构供进一步解析: ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install())) driver.get(url) soup = BeautifulSoup(driver.page_source, 'html.parser') ... driver.quit() ``` ##### 方案 B: Playwright 提升效率与稳定性 Playwright 是另一个强大的选项，在某些场景下可能表现得更加出色: ```python from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto(url) html_content = page.content() ... browser.close() soup = BeautifulSoup(html_content, 'html.parser') ``` 以上两段脚本分别介绍了基于不同框架解决复杂情况的技术手段。 ---