### 使用Python爬虫获取《西游记》电子书目录并通过正则表达式提取 要实现这一目标，可以通过以下方式完成： #### 1. 获取网页内容 利用 `requests` 库发送 HTTP 请求到目标网站，下载包含《西游记》电子书的 HTML 页面。如果目标站点存在反爬机制，则可能需要设置请求头（headers），模拟浏览器行为。 ```python import requests url = "http://example.com/xiyouji" # 替换为目标网址 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) response.encoding = 'utf-8' # 设置编码防止乱码 html_content = response.text ``` 此部分代码用于获取目标网页的内容[^4]。 --- #### 2. 提取目录结构 使用 `re` 模块定义合适的正则表达式模式，匹配《西游记》各章标题及其对应的 URL 链接。假设每章节的标题和链接嵌套在一个特定标签中，例如 `<a>` 标签内的文本形式如下所示： ```html <a href="chapter_1.html">第一章</a> <a href="chapter_2.html">第二章</a> ... ``` 针对上述 HTML 结构设计正则表达式： ```python import re pattern = r'<a\s+href=["\']([^"\']+?)["\'][^>]*?>(.*?)</a>' # 匹配 a 标签中的 href 和 文本 matches = re.findall(pattern, html_content) for match in matches: chapter_url, chapter_title = match print(f"{chapter_title}: {chapter_url}") ``` 这里使用的正则表达式解释如下： - `<a\s+href=`：寻找以 `<a` 开始且带有 `href` 属性的部分； - `["\']([^"\']+?)["\']`：捕获双引号或单引号包裹的实际链接地址； - `(.*?)`：非贪婪地捕获超链接显示的文字内容； - `</a>`：结束标记。 以上方法能够有效筛选出所有符合条件的结果，并将其存储为元组列表[(URL, Title)]的形式[^2]。 --- #### 3. 完整脚本示例 以下是综合上述两部分内容的一个完整脚本实例： ```python import requests import re def fetch_xiyouji_catalog(): url = "http://example.com/xiyouji" # 替换为目标实际网址 headers = {'User-Agent': 'Mozilla/5.0'} try: response = requests.get(url, headers=headers) response.raise_for_status() # 抛出异常以便于错误处理 response.encoding = 'utf-8' pattern = r'<a\s+href=["\']([^"\']+?)["\'][^>]*?>(.*?)</a>' catalog_items = re.findall(pattern, response.text) for idx, item in enumerate(catalog_items[:10], start=1): # 打印前十个条目作为演示 link, title = item print(f"[{idx}] {title.strip()} -> {link}") except Exception as e: print(f"Error occurred: {e}") if __name__ == "__main__": fetch_xiyouji_catalog() ``` 该脚本实现了从指定网站抓取《西游记》目录的功能，并打印前十项结果供验证[^3]。 --- #### 注意事项 - 如果目标网站启用了 JavaScript 动态加载数据或者设置了复杂的防爬策略，单纯依赖同步请求可能无法成功采集全部信息。此时需考虑引入异步框架如 `asyncio` 或者工具 Selenium 来解决动态渲染问题[^1]。 - 对于某些特殊字符集编码的情况，请确认服务器返回的确切编码类型再做相应调整。 ---