### 使用Python爬虫抓取西游记小说的章节名称 要从诗词名句网抓取《西游记》小说的章节名称，可以使用 Python 的 `requests` 和 `BeautifulSoup` 库来实现。以下是详细的说明和代码示例： #### 1. 确定目标网站结构 首先需要分析目标网站（如诗词名句网）的 HTML 结构，找到存放章节名称的具体标签和属性。假设章节名称存放在 `<div>` 标签下的某个子元素中，可以通过浏览器开发者工具查看其具体结构[^1]。 #### 2. 安装必要的库 确保安装了 `requests` 和 `beautifulsoup4` 库，如果未安装，可以通过以下命令安装： ```bash pip install requests beautifulsoup4 ``` #### 3. 编写爬虫代码 以下是一个完整的代码示例，用于抓取《西游记》小说的章节名称： ```python import requests from bs4 import BeautifulSoup # 目标URL url = "https://www.shicimingju.com/book/xiyouji.html" # 发送HTTP请求 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) # 检查响应状态码 if response.status_code == 200: # 解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 查找章节名称所在的标签 chapter_list = soup.find_all('a', class_='book-chapter-item') # 假设章节名称在class为book-chapter-item的<a>标签中 # 提取章节名称 chapters = [chapter.get_text(strip=True) for chapter in chapter_list] # 打印结果 for index, chapter_name in enumerate(chapters, start=1): print(f"第{index}章: {chapter_name}") else: print("请求失败，状态码:", response.status_code) ``` #### 4. 注意事项 - **反爬机制**：部分网站可能具有反爬虫机制，例如限制访问频率或要求特定的 `User-Agent`。上述代码中设置了常见的浏览器 `User-Agent`，以避免被简单地识别为爬虫[^2]。 - **动态加载**：如果目标网站的内容是通过 JavaScript 动态加载的，则需要使用 `selenium` 或其他支持动态渲染的工具。 - **合法性**：确保遵守目标网站的 `robots.txt` 文件规定以及相关法律法规，合理合法地使用爬虫技术[^3]。 ### 示例输出 运行上述代码后，可能会得到类似以下的输出： ``` 第1章: 灵根育孕源流出 心性修持大道生 第2章: 悟彻菩提真妙理 断魔归本合元神 第3章: 四海千山皆拱伏 九幽十类尽除名 ... ```