### 使用 Python 爬取《西游记》电子书网站并提取目录 为了完成这一目标，可以按照以下方法操作： #### 1. 获取网页内容 利用 `requests` 库发送 HTTP 请求到目标网址，获取 HTML 页面的内容。这一步骤可以通过导入 `requests` 并调用 `.get()` 方法实现。 ```python import requests url = 'https://example.com/xiyouji' # 替换为目标网站的实际 URL response = requests.get(url) if response.status_code == 200: html_content = response.text else: raise Exception(f"Failed to fetch the webpage with status code {response.status_code}") ``` 此部分代码实现了对指定 URL 的请求，并检查响应状态码是否正常[^3]。 #### 2. 解析 HTML 内容 使用 BeautifulSoup 对返回的 HTML 文本进行解析，以便更方便地定位所需数据的位置。这里假设目录是以某种特定结构存储在 `<a>` 标签中的链接形式下。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') links = soup.find_all('a') # 假设目录项都在 a 标签里 ``` 这段代码创建了一个 BeautifulSoup 对象来解析 HTML 数据，并查找所有的超链接标签。 #### 3. 提取目录信息 定义一个正则表达式模式用来匹配章节名称及其对应的 URL 地址。例如，如果每个章节都遵循类似的命名方式如 “第一章 XXX”，那么可以根据这些特征构建合适的 regex 模式。 ```python import re pattern = r'^第\d+章.*$' for link in links: href = link.get('href') title = link.get_text(strip=True) if re.match(pattern, title): print(f"{title}: {href}") # 输出符合条件的结果 ``` 上述脚本片段展示了如何应用 `re.match()` 函数去筛选符合预设条件（即以“第N章”开头的文字串）的条目，并打印出来作为最终结果的一部分[^1][^5]。 注意，在实际部署之前可能还需要调整具体的正则表达式的细节以及确认目标站点的具体布局情况。 --- ### 正则表达式说明 在此场景中所采用的正则表达式 `r'^第\d+章.*$'` 可分解如下： - `^`: 表示字符串起始位置； - `第`: 字面意义上的汉字字符‘第’； - `\d+`: 数字序列的一个或多个实例； - `章`: 同样代表固定的中文单词‘章’； - `.*`: 零个或者更多任意字符直到行尾； - `$`: 断言结尾处。 整个模式旨在精确捕捉那些形似于传统书籍分节标题样式的数据记录[^2]。 ---