使用 Python 爬取“菠萝包”小说，核心在于模拟浏览器请求、解析返回数据（通常是 HTML 或 JSON）并提取文本内容，最后保存为文件。其过程可以分为 **目标分析**、**HTTP 请求**、**数据解析**、**内容持久化** 四个主要步骤 [ref_1][ref_2]。 #### **1. 核心步骤与技术选型** | 步骤 | 核心任务 | 常用库/技术 | | :--- | :--- | :--- | | **目标分析** | 分析小说目录页、章节详情页的 URL 规律及页面结构。 | 浏览器开发者工具 (F12) | | **HTTP 请求** | 发送网络请求，获取网页源码或接口数据。 | `requests`, `requests.Session` | | **数据解析** | 从网页源码（HTML/JSON）中提取小说标题、章节链接、正文内容等。 | `BeautifulSoup` (推荐), `lxml`, `json`, `正则表达式` | | **内容持久化** | 将提取的文本内容按章节保存为 `.txt` 文件。 | `open()`, `os` | > **注意**：相较于正则表达式，`BeautifulSoup` 或 `lxml` 的解析方式更稳定、易读，是现代爬虫开发的主流 [ref_4]。 #### **2. 实战代码示例** 以下是一个模拟爬取流程的完整代码示例。**请注意**：在实际应用中，必须将 `目标URL` 替换为真实的小说目录页地址，并根据网站实际结构调整解析规则 [ref_2][ref_3]。 ```python import requests from bs4 import BeautifulSoup import time import os def fetch_novel(base_url, start_chapter=1, end_chapter=None): """ 主函数：爬取指定范围的小说章节。 :param base_url: 小说目录页或第一个章节页的URL模板。 :param start_chapter: 起始章节编号。 :param end_chapter: 结束章节编号，默认为None（爬取所有）。 """ # 创建会话，保持连接和Cookies session = requests.Session() session.headers.update({ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' }) # 1. 获取目录页，解析章节链接 try: # 这里假设 base_url 是目录页。实际情况可能需要调用不同的API接口或页面。 index_resp = session.get(base_url) index_resp.raise_for_status() # 检查请求是否成功 # 假设网站编码为UTF-8，根据实际情况调整 index_resp.encoding = index_resp.apparent_encoding or 'utf-8' except requests.RequestException as e: print(f"获取目录页失败: {e}") return # 2. 解析目录页，获取章节链接和标题 soup = BeautifulSoup(index_resp.text, 'lxml') # 关键步骤：根据目标网站的实际HTML结构，找到章节列表的选择器。 # 例如，章节链接可能包含在 <div class="chapter-list"> 下的 <a> 标签里。 chapter_links = [] # 示例：假设每个章节链接在 class 为 “chapter-item” 的 div 下的 a 标签里 # 请务必使用浏览器的“检查元素”功能，找到正确的CSS选择器。 for item in soup.select('div.chapter-item a'): link = item.get('href') title = item.get_text(strip=True) if link and title: # 处理相对URL if link.startswith('/'): link = f'https://目标网站域名{link}' chapter_links.append((title, link)) if not chapter_links: print("未解析到任何章节链接，请检查CSS选择器或页面结构。") return # 3. 创建保存小说的文件夹 novel_title = soup.find('h1').get_text(strip=True) if soup.find('h1') else '未知小说' save_dir = f'./{novel_title}' os.makedirs(save_dir, exist_ok=True) save_path = os.path.join(save_dir, f'{novel_title}.txt') # 4. 遍历章节链接，抓取内容 with open(save_path, 'w', encoding='utf-8') as f: f.write(f'《{novel_title}》\n\n') for idx, (chap_title, chap_url) in enumerate(chapter_links, 1): # 控制爬取的章节范围 if idx < start_chapter: continue if end_chapter and idx > end_chapter: break print(f'正在抓取 第{idx}章: {chap_title}') try: # 请求章节详情页 chap_resp = session.get(chap_url) chap_resp.raise_for_status() chap_resp.encoding = chap_resp.apparent_encoding or 'utf-8' except requests.RequestException as e: print(f" 章节 {chap_title} 请求失败: {e}") continue # 解析章节正文 chap_soup = BeautifulSoup(chap_resp.text, 'lxml') # 关键步骤：根据目标网站的实际HTML结构，找到正文内容的选择器。 # 例如，正文可能位于 <div id="content"> 或 <div class="chapter-content"> 下。 # 请务必使用浏览器的“检查元素”功能，找到正确的CSS选择器。 content_div = chap_soup.select_one('div#content, div.chapter-content') if content_div: # 清理正文中的无关标签（如广告、脚本） for tag in content_div(['script', 'style', 'div.ads', 'a']): tag.decompose() content_text = content_div.get_text(separator='\n', strip=True) else: content_text = '【正文解析失败，请检查选择器】' # 写入文件 f.write(f'\n\n第{idx}章 {chap_title}\n') f.write(content_text) f.write('\n' + '='*50 + '\n') # 礼貌性延迟，避免对服务器造成过大压力 time.sleep(1) print(f'小说《{novel_title}》已保存至: {save_path}') if __name__ == '__main__': # **重要**：此处需替换为真实的目标小说目录页URL，并确保遵守该网站的Robots协议和服务条款。 # 示例URL仅为格式示意。 target_url = 'https://www.example.com/novel/12345' fetch_novel(target_url, start_chapter=1, end_chapter=5) # 示例：仅爬取前5章 ``` #### **3. 关键点与注意事项** * **目标网站分析**：爬虫代码高度依赖目标网站的页面结构（HTML标签和CSS类名）。在运行代码前，必须使用浏览器开发者工具（F12）分析“菠萝包”小说的具体页面，并更新代码中的 `soup.select()` 和 `chap_soup.select_one()` 使用的CSS选择器 [ref_4]。 * **请求头设置**：设置 `User-Agent` 等请求头是模拟浏览器访问、绕过基础反爬机制的必要步骤 [ref_3]。 * **异常处理**：网络请求和解析可能失败，代码中加入了 `try...except` 块进行基本的容错处理，确保单个章节失败不影响整体流程 [ref_2]。 * **爬取伦理与法律**： 1. **遵守`Robots.txt`**：在爬取前，务必检查目标网站的 `https://www.目标网站域名/robots.txt` 文件，确认是否允许爬取其小说内容 [ref_1]。 2. **控制请求频率**：在循环中使用 `time.sleep()` 添加延迟是必要的礼貌行为，可防止因请求过快导致IP被封禁 [ref_4]。 3. **尊重版权**：本代码示例仅用于技术学习与研究。爬取并传播受版权保护的小说内容可能涉及侵权，请在法律允许和个人使用的范围内进行。 * **动态内容处理**：如果小说内容是通过JavaScript动态加载的（如翻页、滚动加载），上述基于`requests`和`BeautifulSoup`的方法将失效。此时需要分析网页的网络请求（XHR/Fetch），找到返回章节数据的真实API接口（通常是JSON格式），并模拟请求该接口 [ref_2]。