### 使用 Jupyter 爬取豆瓣数据并进行可视化的示例 #### 数据爬取部分 为了从豆瓣网站抓取数据，可以使用 `requests` 和 `BeautifulSoup` 工具来完成网页请求和 HTML 解析的任务。以下是具体的实现方法： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_douban_data(url, headers): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') titles = [] ratings = [] descriptions = [] # 提取电影名称 title_tags = soup.find_all('span', class_='title') # 修改为实际的HTML结构 for tag in title_tags: titles.append(tag.text.strip()) # 提取评分 rating_tags = soup.find_all('span', class_='rating_num') # 修改为实际的HTML结构 for tag in rating_tags: ratings.append(float(tag.text)) # 提取简介页面中的详细信息 description_tags = soup.find_all('span', class_='inq') # 修改为实际的HTML结构 for tag in description_tags: if tag is not None and hasattr(tag, 'text'): descriptions.append(tag.text) data = {'Title': titles, 'Rating': ratings, 'Description': descriptions} df = pd.DataFrame(data) return df url = "https://movie.douban.com/top250" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"} df = fetch_douban_data(url, headers) print(df.head()) ``` 此代码片段展示了如何通过网络请求获取豆瓣 Top 250 页面的数据，并从中提取电影标题、评分以及描述信息。 --- #### 数据可视化部分 利用 Matplotlib 进行数据分析和展示，下面提供六个不同类型的图表作为案例。 ##### 图表一：条形图——Top 10 高分电影分布 ```python import matplotlib.pyplot as plt top_10_movies = df.nlargest(10, 'Rating') plt.figure(figsize=(10, 6)) plt.barh(top_10_movies['Title'], top_10_movies['Rating'], color='skyblue') plt.xlabel('Ratings') plt.ylabel('Movie Titles') plt.title('Top 10 Movies by Rating') plt.gca().invert_yaxis() plt.show() ``` ##### 图表二：直方图——评分频率统计 ```python plt.hist(df['Rating'], bins=10, edgecolor='black', alpha=0.7) plt.xlabel('Ratings') plt.ylabel('Frequency') plt.title('Distribution of Movie Ratings') plt.grid(True) plt.show() ``` ##### 图表三：折线图——按顺序排列的评分趋势 ```python sorted_df = df.sort_values(by='Rating', ascending=False).reset_index(drop=True) plt.plot(sorted_df.index[:50], sorted_df['Rating'][:50], marker='o', linestyle='-') plt.xlabel('Index Position') plt.ylabel('Ratings') plt.title('Trend of Movie Ratings Over Index Positions') plt.grid(True) plt.show() ``` ##### 图表四：饼图——高分与低分电影比例 ```python high_rating_count = len(df[df['Rating'] >= 9]) low_rating_count = len(df) - high_rating_count labels = ['High Rated (>9)', 'Low Rated (<9)'] sizes = [high_rating_count, low_rating_count] plt.pie(sizes, labels=labels, autopct='%1.1f%%', startangle=90) plt.axis('equal') plt.title('Proportion of High vs Low Rated Movies') plt.show() ``` ##### 图表五：散点图——评分与索引位置的关系 ```python plt.scatter(range(len(df)), df['Rating'], c=df['Rating'], cmap='viridis', s=50, alpha=0.6) plt.colorbar(label='Ratings') plt.xlabel('Index Position') plt.ylabel('Ratings') plt.title('Scatter Plot of Ratings Against Index Position') plt.grid(True) plt.show() ``` ##### 图表六：热力图——前 20 名电影之间的相似度矩阵 ```python from sklearn.metrics.pairwise import cosine_similarity import numpy as np ratings_matrix = pd.pivot_table(df.iloc[:20], index='Title', columns=None, values='Rating').fillna(0) similarity_matrix = cosine_similarity(ratings_matrix.values.T) fig, ax = plt.subplots(figsize=(8, 6)) cax = ax.matshow(similarity_matrix, cmap='coolwarm') fig.colorbar(cax) ticks = range(len(ratings_matrix.columns)) ax.set_xticks(ticks) ax.set_yticks(ticks) ax.set_xticklabels(ratings_matrix.columns, rotation=90) ax.set_yticklabels(ratings_matrix.columns) plt.title('Cosine Similarity Matrix Between Top 20 Movies') plt.show() ``` 以上代码实现了多种图形绘制的功能，涵盖了常见的数据可视化需求[^1]。 --- #### 如何从简介页面提取和分析详细信息？ 对于每部电影的具体详情页，可以通过进一步访问其 URL 获取更多信息。例如，在豆瓣中，每一部电影都有独立的介绍页面，其中可能包含导演、演员阵容、上映日期等内容。这些字段通常位于特定的 `<div>` 或 `<ul>` 标签下。借助 `find()` 方法定位目标节点即可轻松读取所需的信息[^3]。 假设我们需要收集某一部影片的所有演职人员名单，则可扩展如下函数逻辑： ```python def extract_movie_details(movie_url, headers): details_response = requests.get(movie_url, headers=headers) details_soup = BeautifulSoup(details_response.text, 'html.parser') cast_list = [] casts = details_soup.select('.celebrity-info a') # 替换为具体的选择器路径 for actor in casts: name = actor.text.strip() if actor.text else '' link = actor['href'] if 'href' in actor.attrs else '#' cast_list.append({'Name': name, 'Link': link}) return cast_list ``` 调用该函数时传入单个电影链接地址便可返回完整的团队列表。 ---