### 豆瓣电影数据爬取与分析 #### 数据爬取部分 为了实现豆瓣电影的数据爬取，通常会使用 `requests` 和 `BeautifulSoup` 库来抓取网页中的结构化数据。以下是具体的代码示例： ```python import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url = "https://movie.douban.com/top250" response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movies = soup.find_all('div', class_='item') data_list = [] for movie in movies: title = movie.find('span', class_='title').get_text() rating = movie.find('span', class_='rating_num').get_text() data_list.append({'Title': title, 'Rating': float(rating)}) ``` 上述代码实现了对豆瓣 Top 250 页面的简单爬取，并提取了每部电影的名字和评分[^1]。 #### 数据存储部分 一旦完成数据的爬取，可以通过 `pandas` 将其保存为 CSV 文件以便后续分析。 ```python import pandas as pd df = pd.DataFrame(data_list) df.to_csv('douban_movies.csv', index=False, encoding='utf-8-sig') ``` 这段代码将之前收集到的电影名字及其评分转换成 DataFrame 并导出至本地文件中[^2]。 #### 数据分析与可视化 对于数据分析阶段，可以利用 Pandas 进行基础统计计算以及 Matplotlib 或 Seaborn 实现图表展示。 ```python import matplotlib.pyplot as plt import seaborn as sns sns.set(style="whitegrid") plt.figure(figsize=(10, 6)) sns.histplot(df['Rating'], bins=10, kde=True, color='blue') plt.title('Distribution of Movie Ratings on Douban') plt.xlabel('Ratings') plt.ylabel('Frequency') plt.show() ``` 此段脚本绘制了一个直方图用来表示豆瓣上这些高分影片得分分布情况。 如果想进一步深入挖掘评论情感倾向，则可引入自然语言处理技术如结巴分词配合 scikit-learn 构建机器学习模型来进行正面负面情绪分类。