### 使用 Python 爬取豆瓣读书《恶心》短评 要爬取豆瓣读书平台上萨特著作《恶心》的短评数据，可以按照以下方法实现。此过程涉及请求网页、解析 HTML 数据并提取所需字段。 #### 1. 请求目标页面 首先需要向目标书籍详情页发送 HTTP GET 请求以获取其 HTML 响应内容。通常情况下，豆瓣书籍的 URL 结构类似于 `https://book.douban.com/subject/{id}/`，其中 `{id}` 是该书对应的唯一 ID。对于《恶心》，可以通过访问豆瓣找到具体链接地址[^1]。 ```python import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url = "https://book.douban.com/subject/1859031/" # 萨特《恶心》的URL response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") html_content = response.text ``` #### 2. 解析HTML文档 利用 Beautiful Soup 库来解析返回的数据，并定位到包含短评的部分。一般而言，在豆瓣书籍页面中，“热门短评”会集中显示于某个 `<div>` 或列表标签下。 ```python soup = BeautifulSoup(html_content, 'html.parser') short_reviews_section = soup.find('div', class_='comment-list') # 查找存储短评的主要容器区域 if not short_reviews_section: print("未发现短评部分") else: reviews = [] items = short_reviews_section.find_all('li') for item in items[:10]: # 提取前十个作为样例展示 review_text_tag = item.find('p').text.strip() user_name_tag = item.find('span', {'class':'comment-info'}).a.text single_review = {"username": user_name_tag, "content": review_text_tag} reviews.append(single_review) ``` #### 3. 输出结果 最后将抓取的结果打印出来或者保存至文件当中以便后续处理。 ```python for idx, rvw in enumerate(reviews): print(f"{idx+1}. 用户名:{rvw['username']}\n 短评内容:\n{rvw['content']} \n{'-'*40}") ``` 以上即为完整的爬虫逻辑框架。值得注意的是，在实际操作之前应当仔细阅读目标站点的服务条款，确保自己的行为合法合规[^2]。 ---