基于Python的豆瓣电影评分数据分析及可视化，核心步骤包括数据爬取、数据清洗、分析建模和可视化呈现[ref_1]。以下是一个完整的实现方法，以分析豆瓣电影TOP250为例[ref_3]，并结合一个具体的项目案例展开。 #### **1. 数据爬取** 首先，需要使用Python库（如 `requests` 和 `BeautifulSoup`）从豆瓣电影页面爬取数据[ref_2][ref_3]。主要抓取信息包括电影名称、导演、主演、上映年份、评分、评价人数、一句话短评等[ref_4]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd import time # 基础URL和请求头，添加User-Agent模拟浏览器访问 base_url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def scrape_douban_top250(): """ 爬取豆瓣电影TOP250数据 """ all_movies = [] for start in range(0, 250, 25): # 每页25条，共10页 url = f'{base_url}?start={start}' print(f'正在爬取：{url}') try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求是否成功 soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', class_='item') for item in items: # 提取电影信息 title = item.find('span', class_='title').text rating = float(item.find('span', class_='rating_num').text) # 评价人数：例如“15万人评价”， 提取数字部分 comment_num_tag = item.find('div', class_='star').find_all('span')[-1].text comment_num = int(comment_num_tag[:-3]) * 10000 if '万' in comment_num_tag else int(comment_num_tag[:-1]) # 简略信息，包含导演、主演、年份、地区等 info = item.find('p', class_='').text infos = [i.strip() for i in info.split('\n') if i.strip()] # 解析info字符串，此处为简化示例，实际需更复杂的解析 if len(infos) >= 2: detail_info = infos[1].split('/') year = detail_info[0].strip() country = detail_info[1].strip() if len(detail_info) > 1 else '' genres = detail_info[2].strip() if len(detail_info) > 2 else '' else: year = country = genres = '' movie = { 'title': title, 'rating': rating, 'comment_num': comment_num, 'year': year, 'country': country, 'genres': genres } all_movies.append(movie) time.sleep(2) # 请求间隔，避免被封IP except Exception as e: print(f'爬取{url}时出错：{e}') break # 转换为DataFrame df = pd.DataFrame(all_movies) return df # 执行爬虫 df_movies = scrape_douban_top250() print(f'共爬取到{len(df_movies)}条电影数据。') ``` #### **2. 数据清洗与预处理** 爬取到的原始数据可能包含缺失值、格式不统一等问题，需要进行清洗以便后续分析[ref_6]。 ```python def clean_data(df): """ 数据清洗与预处理 """ # 查看数据基本信息 print(df.info()) print(df.head()) # 1. 处理缺失值（如果有） df_cleaned = df.dropna() print(f"清洗后数据量：{len(df_cleaned)}") # 2. 转换数据类型 df_cleaned['year'] = pd.to_numeric(df_cleaned['year'], errors='coerce') df_cleaned['rating'] = pd.to_numeric(df_cleaned['rating'], errors='coerce') df_cleaned['comment_num'] = pd.to_numeric(df_cleaned['comment_num'], errors='coerce') # 3. 对电影类型进行拆分（例如“剧情 / 爱情 / 奇幻”拆分成列表） df_cleaned['genre_list'] = df_cleaned['genres'].str.split('/') # 将列表展开，用于后续分析最常见的电影类型 from itertools import chain all_genres = list(chain.from_iterable(df_cleaned['genre_list'].dropna())) return df_cleaned, all_genres df_clean, all_genres = clean_data(df_movies) ``` #### **3. 数据分析与可视化** 利用 `pandas`、`matplotlib`、`seaborn` 和 `wordcloud` 等库进行分析与可视化[ref_1][ref_2]。 **3.1 评分分布分析** 这是最核心的分析之一，通过直方图或密度图查看评分的整体分布情况[ref_1]。 ```python import matplotlib.pyplot as plt import seaborn as sns sns.set_style("whitegrid") # 绘制评分分布直方图与密度曲线 plt.figure(figsize=(10, 6)) sns.histplot(df_clean['rating'], bins=20, kde=True, color='skyblue') plt.title('豆瓣TOP250电影评分分布', fontsize=16) plt.xlabel('评分', fontsize=14) plt.ylabel('电影数量', fontsize=14) plt.axvline(df_clean['rating'].mean(), color='red', linestyle='--', label=f'平均分：{df_clean["rating"].mean():.2f}') plt.legend() plt.show() ``` **3.2 电影类型频次分析** 分析最常见的电影类型，并生成词云[ref_1][ref_4]。 ```python from collections import Counter from wordcloud import WordCloud # 统计类型频次 genre_counts = Counter(all_genres) print("最常见的电影类型：") for genre, count in genre_counts.most_common(10): print(f"{genre}: {count}次") # 生成词云 wordcloud = WordCloud(font_path='simhei.ttf', width=800, height=400, background_color='white').generate_from_frequencies(genre_counts) plt.figure(figsize=(12, 6)) plt.imshow(wordcloud, interpolation='bilinear') plt.axis('off') plt.title('豆瓣TOP250电影类型词云', fontsize=16) plt.show() ``` **3.3 评分与评价人数关系分析** 探索评分高低是否与受欢迎程度（评价人数）有关[ref_1]。 ```python plt.figure(figsize=(10, 6)) # 使用散点图，点的大小和颜色可以反映信息量 scatter = plt.scatter(df_clean['comment_num'], df_clean['rating'], alpha=0.6, c=df_clean['rating'], cmap='viridis', s=df_clean['comment_num']/1000) plt.colorbar(scatter, label='评分') plt.title('电影评分与评价人数关系散点图', fontsize=16) plt.xlabel('评价人数（万）', fontsize=14) # 已换算为万为单位 plt.ylabel('评分', fontsize=14) # 添加对数坐标，使数据分布更清晰 plt.xscale('log') plt.show() ``` **3.4 上映年代趋势分析** 分析高评分电影在不同年代的分布情况[ref_3]。 ```python # 按年代分组统计（以10年为一个区间） df_clean['decade'] = (df_clean['year'] // 10) * 10 rating_by_decade = df_clean.groupby('decade')['rating'].agg(['count', 'mean']).reset_index() # 绘制双轴图：电影数量与平均分随年代的变化 fig, ax1 = plt.subplots(figsize=(12, 6)) color = 'tab:blue' ax1.set_xlabel('年代', fontsize=14) ax1.set_ylabel('电影数量', color=color, fontsize=14) bars = ax1.bar(rating_by_decade['decade'].astype(str), rating_by_decade['count'], color=color, alpha=0.6, label='电影数量') ax1.tick_params(axis='y', labelcolor=color) ax2 = ax1.twinx() color = 'tab:red' ax2.set_ylabel('平均评分', color=color, fontsize=14) line = ax2.plot(rating_by_decade['decade'].astype(str), rating_by_decade['mean'], color=color, marker='o', linewidth=2, label='平均评分') ax2.tick_params(axis='y', labelcolor=color) fig.tight_layout() plt.title('不同年代TOP250电影数量与平均评分趋势', fontsize=16) # 合并图例（需要额外处理） lines_labels = [ax.get_legend_handles_labels() for ax in [ax1, ax2]] lines, labels = [sum(lol, []) for lol in zip(*lines_labels)] fig.legend(lines, labels, loc='upper left') plt.show() ``` #### **4. 项目案例：构建电影推荐指数模型** 基于分析结果，可以构建一个简单的电影推荐指数，例如结合评分和评价人数[ref_2]。 ```python def calculate_recommendation_index(df): """ 计算电影推荐指数。 指数 = (评分 * a) + (log10(评价人数) * b) 其中a, b为权重，此处设a=0.7, b=0.3，可根据业务调整。 """ import numpy as np # 归一化评分 (0-1) df['rating_norm'] = (df['rating'] - df['rating'].min()) / (df['rating'].max() - df['rating'].min()) # 对评价人数取对数并归一化，以平滑数量级差异 df['comment_log'] = np.log10(df['comment_num'] + 1) # +1防止对数为0 df['comment_log_norm'] = (df['comment_log'] - df['comment_log'].min()) / (df['comment_log'].max() - df['comment_log'].min()) a, b = 0.7, 0.3 df['rec_index'] = df['rating_norm'] * a + df['comment_log_norm'] * b df['rec_index'] = df['rec_index'] * 10 # 映射到0-10分 return df df_with_rec = calculate_recommendation_index(df_clean) # 查看推荐指数最高的10部电影 top_recommended = df_with_rec.sort_values(by='rec_index', ascending=False).head(10)[['title', 'rating', 'comment_num', 'rec_index']] print(top_recommended.to_markdown(index=False)) ``` **案例结果输出示例：** | 电影名称 | 评分 | 评价人数 | 推荐指数 | | :--- | :--- | :--- | :--- | | 肖申克的救赎 | 9.7 | 2850000 | 9.85 | | 霸王别姬 | 9.6 | 1980000 | 9.62 | | 阿甘正传 | 9.5 | 2150000 | 9.55 | #### **5. 项目进阶方向** 以上是一个基础的豆瓣电影评分数据分析与可视化项目。根据参考资料，可向以下几个方向深入[ref_1][ref_6]： * **增加对比维度**：如引入IMDb等平台的评分数据进行横向对比分析，探讨不同文化背景下评分标准的差异[ref_1]。 * **深入文本分析**：抓取更多用户短评或影评，利用情感分析技术（如`snownlp`或`TextBlob`）分析评论情感倾向，并关联电影评分[ref_4]。 * **构建评分预测模型**：基于电影的导演、演员、类型、年代等特征，利用机器学习模型（如线性回归、随机森林）尝试预测其评分[ref_6]。 * **动态数据与交互可视化**：使用`Flask`或`Streamlit`框架将分析结果构建成一个Web应用，实现交互式的数据探索，例如通过滑块筛选年份、通过点击查看电影详情[ref_6]。 整个项目流程完整覆盖了从数据获取到洞察呈现的数据分析生命周期，可以作为学习Python数据分析与可视化的优秀实践案例[ref_3]。