为了完成使用 Python 爬取豆瓣电影 Top 250 数据并进行可视化分析的任务，可以分为两个主要部分：数据爬取和数据可视化。 ### 数据爬取 利用 `BeautifulSoup` 和 `requests` 库可以实现对豆瓣电影页面的解析。以下是完整的代码示例： ```python import requests from bs4 import BeautifulSoup import time import csv # 豆瓣电影Top250的URL模板 base_url = "https://movie.douban.com/top250?start={}" # 存储所有电影信息 movies = [] # 循环获取每一页的数据 for i in range(0, 250, 25): url = base_url.format(i) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0 Safari/537.36', 'From-Crawler': 'True' # 添加From-Crawler标识[^3] } response = requests.get(url, headers=headers) if response.status_code != 200: print(f"Failed to fetch page {url}") continue soup = BeautifulSoup(response.text, 'html.parser') # 解析电影信息 items = soup.find_all('div', class_='item') for item in items: rank = item.find('em').text.strip() title = item.find('span', class_='title').text.strip() rating = item.find('span', class_='rating_num').text.strip() num_ratings = item.find('div', class_='star').find_all('span')[-1].text.strip().replace('人评价', '') movies.append({ 'rank': rank, 'title': title, 'rating': float(rating), 'num_ratings': int(num_ratings) }) # 控制请求频率以避免被封IP time.sleep(2) # 将数据保存到CSV文件中 with open('douban_top250_movies.csv', 'w', newline='', encoding='utf-8') as csvfile: fieldnames = ['rank', 'title', 'rating', 'num_ratings'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() writer.writerows(movies) print("Data successfully scraped and saved to CSV.") ``` ### 数据可视化 在完成数据爬取后，接下来可以通过 `pyecharts` 或 `matplotlib` 对数据进行可视化展示。以下是一些常见的可视化方式： #### 1. **评分分布直方图** ```python import matplotlib.pyplot as plt import pandas as pd # 读取CSV文件 df = pd.read_csv('douban_top250_movies.csv') # 绘制评分分布直方图 plt.figure(figsize=(10, 6)) plt.hist(df['rating'], bins=10, edgecolor='black', alpha=0.7) plt.title('Douban Movie Rating Distribution') plt.xlabel('Rating') plt.ylabel('Number of Movies') plt.grid(True) plt.show() ``` #### 2. **电影排名与评分关系折线图** ```python # 按照排名排序 df_sorted = df.sort_values(by='rank') # 绘制排名与评分的关系图 plt.figure(figsize=(12, 6)) plt.plot(df_sorted['rank'], df_sorted['rating'], marker='o', linestyle='-', color='b') plt.title('Movie Rank vs Rating') plt.xlabel('Rank') plt.ylabel('Rating') plt.xticks(range(1, 251, 10)) # 设置x轴刻度间隔 plt.grid(True) plt.show() ``` #### 3. **词云（基于电影名称）** ```python from pyecharts import options as opts from pyecharts.charts import WordCloud # 提取电影名称作为词云数据 words = [(title, len(title)) for title in df['title'][:50]] # 取前50个电影名称 # 创建词云图表 wordcloud = ( WordCloud() .add("", words, word_size_range=[20, 100]) .set_global_opts(title_opts=opts.TitleOpts(title="Movie Titles Word Cloud")) ) wordcloud.render("movie_title_wordcloud.html") print("Word cloud generated and saved as HTML file.") ``` 以上代码展示了如何通过 Python 实现豆瓣电影 Top 250 的数据爬取，并结合多种方式对数据进行可视化分析。