### 爬取豆瓣电影短评并计算平均评分的方法 爬取豆瓣电影的短评内容并计算其平均评分需要使用Python中的`requests`库和`BeautifulSoup`库来解析网页内容，同时还需要处理评分数据。以下是实现这一目标的具体方法[^1]。 首先，确保安装了必要的库： ```bash pip install requests beautifulsoup4 ``` 接下来是代码实现部分。以下代码展示了如何爬取豆瓣电影的50条短评内容，并计算这些短评的平均评分[^2]： ```python import requests from bs4 import BeautifulSoup # 设置请求头以模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 豆瓣电影短评页面URL（需替换为具体电影的短评页面） movie_url = "https://movie.douban.com/subject/{movie_id}/comments?start=0&limit=50&sort=new_score&status=P" # 发送HTTP请求获取网页内容 response = requests.get(movie_url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 提取短评内容和评分 comments = [] ratings = [] for item in soup.select('.comment-item'): comment = item.select_one('.short').get_text(strip=True) # 短评内容 rating_element = item.select_one('.rating') if rating_element: rating = int(rating_element['class'][0][-2]) # 提取评分值 ratings.append(rating) comments.append(comment) # 计算平均评分 average_rating = sum(ratings) / len(ratings) if ratings else 0 print("短评内容：") for i, comment in enumerate(comments, start=1): print(f"{i}. {comment}") print(f"\n平均评分：{average_rating:.2f}") else: print(f"无法访问页面，状态码：{response.status_code}") ``` 上述代码中，`movie_id`需要替换为具体的豆瓣电影ID，例如`1292052`代表《肖申克的救赎》[^3]。此外，需要注意的是，豆瓣网站可能对爬虫行为有限制，因此建议在爬取时遵守相关法律法规及网站的`robots.txt`文件规定。 #### 注意事项 - 爬取数据时，应避免频繁请求导致IP被封禁。可以使用`time.sleep()`函数增加请求间隔。 - 如果遇到验证码或反爬机制，可以考虑使用更高级的技术如Selenium模拟浏览器操作。 - 在提取评分时，部分用户可能未打分，因此需要对空评分进行特殊处理。 ### 数据解析与处理 在爬取到的数据中，短评内容通常位于`.short`类名下，而评分信息则可以通过`.rating`类名及其属性值提取。评分值从1到5不等，表示用户的评分等级[^4]。