### 豆瓣读书Top250排行榜数据爬取与存储 为了实现豆瓣读书Top250排行榜数据的爬取并将结果保存为CSV文件，可以按照以下方式构建Python程序。以下是完整的解决方案： #### 数据爬取逻辑 使用`requests`库发送HTTP请求获取网页内容，并利用`BeautifulSoup`解析HTML页面中的书籍信息。随后将提取的信息存入列表中以便后续操作。 ```python import requests from bs4 import BeautifulSoup import pandas as pd headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_douban_books(): base_url = "https://book.douban.com/top250?start=" book_names = [] book_authors = [] book_publishers = [] book_years = [] book_prices = [] for i in range(0, 250, 25): # 遍历每一页 url = f"{base_url}{i}" response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') books = soup.find_all('tr', class_='item') for book in books: name_tag = book.find('div', class_='pl2').find('a') # 获取书名 author_info = book.find('p', class_='pl').text.strip().split('/') # 获取作者、出版社等信息 price_tag = book.find('span', class_='rating_nums') # 获取评分（可选） book_names.append(name_tag['title']) # 提取书名 book_authors.append(author_info[0].strip()) # 提取作者 book_publishers.append(author_info[-3].strip()) # 提取出版社 book_years.append(author_info[-2].strip()) # 提取出版年份 book_prices.append(author_info[-1].strip()) # 提取价格 data = { 'Book Name': book_names, 'Author': book_authors, 'Publisher': book_publishers, 'Year': book_years, 'Price': book_prices } df = pd.DataFrame(data) return df df = fetch_douban_books() df.to_csv('douban_top250_books.csv', index=False, encoding='utf-8-sig') ``` #### 解析说明 1. **URL 构造**: 使用循环遍历豆瓣读书Top250排行榜的不同分页链接[^1]。 2. **Headers 设置**: 添加自定义 `User-Agent` 头部信息模拟浏览器访问行为，防止被反爬机制阻止。 3. **HTML 解析**: 利用 `BeautifulSoup` 对 HTML 文档进行分析，定位目标标签并提取所需字段。 4. **Pandas 存储**: 将收集到的数据整理成字典形式后转换为 Pandas DataFrame 结构，便于进一步处理和导出 CSV 文件[^1]。 此代码实现了从豆瓣读书网站抓取 Top250 排行榜上的书籍名称及其相关信息的功能，并最终以标准 UTF-8 编码格式保存至本地磁盘作为 CSV 文件[^2]。 #### 注意事项 在实际运行过程中需要注意以下几点： - 网络环境稳定性可能影响请求成功率； - 如果目标站点更新了其布局或者增加了新的防护措施，则需相应调整解析规则； - 应遵循robots协议以及尊重版权等相关法律法规，在合理范围内开展数据采集活动。