### Python 爬虫实现起点中文网完本专区第一页小说信息提取 要完成此任务，可以利用 `requests` 和 `BeautifulSoup` 库来抓取网页中的数据，并解析出所需的信息。以下是具体方法： #### 使用库安装 首先需要确保已安装必要的依赖库： ```bash pip install requests beautifulsoup4 pandas openpyxl ``` #### 实现代码 以下是一个完整的脚本示例，用于爬取起点中文网完本专区第一页的小说信息（包括名称、作者、类型和总字数），并将结果保存到 Excel 文件中。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 请求目标页面 url = "https://www.qidian.com/finish" # 起点中文网完本专区URL response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') novels_data = [] # 查找所有小说条目 items = soup.select('.book-mid-info') # 根据HTML结构定位小说列表区域[^1] for item in items: name_tag = item.find('h4').find('a') author_tag = item.find('a', class_='name') type_tag = item.find_all('a')[1] # 假设第二个<a>标签为类型 word_count_tag = item.find('p', class_='intro').text.strip().split('|')[-1].strip() # 提取字数部分[^2] novel_name = name_tag.text if name_tag else None author = author_tag.text if author_tag else None book_type = type_tag.text if type_tag else None word_count = ''.join(filter(str.isdigit, word_count_tag)) if word_count_tag else None # 只保留数字 novels_data.append({ '小说名': novel_name, '作者': author, '类型': book_type, '总字数': int(word_count) if word_count else None }) # 存储到Excel表格 df = pd.DataFrame(novels_data) df.to_excel('qidian_novels.xlsx', index=False, engine='openpyxl') else: print(f'Failed to fetch data with status code {response.status_code}') ``` #### 数据处理说明 上述代码实现了以下几个功能： 1. **发送 HTTP 请求**：通过设置合适的 User-Agent 来伪装成真实用户的浏览器访问网站。 2. **解析 HTML 文档**：使用 Beautiful Soup 解析返回的 HTML 页面内容，找到对应的小说信息节点。 3. **提取字段**：分别从不同的 HTML 元素中提取小说的名字、作者、类型以及总字数[^3]。 4. **存储至文件**：最后将收集的数据存入 Excel 表格以便后续查看或进一步分析。 注意：实际运行前需确认目标站点的具体 DOM 结构可能有所变化，因此建议先手动打开链接观察其布局再调整 CSS Selector 或 XPath 的选取方式。 ---