### 爬取豆瓣《活着》评论的Python实现 要从豆瓣网站抓取余华《活着》的评论及其作者信息，可以使用 `requests` 和 `BeautifulSoup` 来完成。以下是完整的实现方法： #### 1. 导入必要的库 首先需要导入 `requests` 和 `BeautifulSoup` 库以处理网络请求和HTML解析[^2]。 ```python import requests from bs4 import BeautifulSoup ``` #### 2. 设置目标URL 根据豆瓣页面的结构，确定目标URL为《活着》的评论页面。例如： ```python url = "https://book.douban.com/subject/1086311/comments/" ``` 这里的 `1086311` 是《活着》这本书的ID[^3]。 #### 3. 请求网页内容 通过 `requests.get()` 方法获取网页内容，并检查响应状态码是否为200（成功）。 ```python headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: print("Failed to retrieve the page") ``` #### 4. 解析HTML并提取数据 利用 `BeautifulSoup` 对HTML进行解析，提取评论作者和评论内容。 ```python soup = BeautifulSoup(html_content, 'html.parser') comments = soup.find_all('div', class_='comment') # 找到所有评论块 data = [] for comment in comments: author = comment.find('span', class_='comment-info').a.text.strip() # 提取作者 content = comment.find('span', class_='short').text.strip() # 提取评论内容 data.append((author, content)) ``` #### 5. 将数据保存到CSV文件 将提取的数据保存到CSV文件中，方便后续分析。 ```python import csv csvinfo = open('living_comments.csv', 'w', newline='', encoding='utf-8') writer = csv.writer(csvinfo) writer.writerow(['Author', 'Comment']) # 写入表头 writer.writerows(data) # 写入数据 csvinfo.close() ``` 以上代码实现了从豆瓣网站爬取《活着》的评论及其作者信息，并将其保存到CSV文件中。 ### 注意事项 - 在实际运行时，可能需要调整 `headers` 中的 `User-Agent`，以模拟浏览器访问，避免被封禁。 - 豆瓣网站可能存在反爬机制，建议设置合适的请求间隔，避免频繁访问[^4]。