### 编写Python爬虫抓取豆瓣读书信息 为了实现这一目标，可以采用`requests`库来发送HTTP请求并获取网页内容，再使用`BeautifulSoup`库解析HTML文档。下面是一个简单的例子展示如何抓取所需的数据。 #### 导入必要的库 ```python import requests from bs4 import BeautifulSoup ``` #### 获取页面内容 定义一个函数用于向目标URL发起GET请求，并返回响应对象的内容。 ```python def get_page_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") ``` #### 解析页面提取数据 创建另一个函数负责分析传入的HTML字符串，从中抽取书籍名称、评分、阅读人数以及排名等字段。 ```python def parse_book_info(html_str): soup = BeautifulSoup(html_str, "html.parser") books_data = [] items = soup.find_all('div', class_='item')[:10] # 只选取前十个条目作为示例 for item in items: try: book_name = item.select_one('.title').get_text(strip=True).replace('\n', '') rating_num = float(item.select_one('.rating_nums').get_text(strip=True)) people_count = int(item.select_one('.pl').get_text().strip().split()[0].replace('(', '').replace(')', '').replace('人评价', '')) rank_tag = item.previous_sibling.strip() or None books_data.append({ 'name': book_name, 'score': rating_num, 'readers': people_count, 'rank': rank_tag }) except AttributeError as e: print(e) return books_data ``` #### 主逻辑流程控制 最后，在主程序部分调用上述两个辅助方法完成整个过程。 ```python if __name__ == '__main__': url = 'https://book.douban.com/top250' html = get_page_content(url) data = parse_book_info(html) for idx, entry in enumerate(data, start=1): print(f"{idx}. Name:{entry['name']}, Score:{entry['score']:.1f}, Readers:{entry['readers']}, Rank:{entry['rank']}") ``` 此段代码展示了基本框架[^3]，实际应用时可能还需要考虑更多细节处理，比如异常情况下的重试机制、代理IP切换策略等高级特性。