### Python 豆瓣电影 Top250 爬虫 示例代码及教程 以下是基于 Python 的豆瓣电影 Top250 数据爬取的完整示例代码及相关说明： #### 一、准备工作 为了成功抓取数据，需安装必要的库并配置请求头。推荐使用 `requests` 和 `BeautifulSoup` 来解析 HTML 页面。 ```bash pip install requests beautifulsoup4 pandas pyecharts ``` #### 二、核心代码实现 以下为完整的爬虫代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_douban_top250(): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'From-Crawler': 'True' # 添加标识防止被封禁 } base_url = "https://movie.douban.com/top250" movies_data = [] for start in range(0, 250, 25): # 分页处理 url = f"{base_url}?start={start}" response = requests.get(url, headers=headers) if response.status_code != 200: print(f"Failed to retrieve data from {url}") continue soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', class_='item') for item in items: rank = int(item.find('em').get_text()) title = item.find('span', class_='title').get_text() rating = float(item.find('span', class_='rating_num').get_text()) quote_tag = item.find('p', class_='quote') quote = quote_tag.span.get_text() if quote_tag and quote_tag.span else None movie_info = { 'rank': rank, 'title': title, 'rating': rating, 'quote': quote } movies_data.append(movie_info) return movies_data if __name__ == "__main__": top_movies = fetch_douban_top250() df = pd.DataFrame(top_movies) df.to_csv("douban_top250.csv", index=False, encoding='utf-8-sig') # 存储到 CSV 文件 print("Data saved successfully!") ``` 此代码实现了分页加载功能，并将每部电影的排名、名称、评分以及短评存储至 DataFrame 中[^1]。 #### 三、数据可视化扩展 可以利用 `pyecharts` 对爬取的数据进行进一步分析和展示。例如生成词云图来显示热门关键词频率分布。 ```python from pyecharts import options as opts from pyecharts.charts import WordCloud words = [ ("肖申克", 95), ("拯救大兵瑞恩", 88), ("阿甘正传", 82), ("霸王别姬", 78), ] c = ( WordCloud() .add("", words, word_size_range=[20, 100]) .set_global_opts( title_opts=opts.TitleOpts(title="豆瓣Top250 关键词词云") ) ) c.render("douban_wordcloud.html") # 输出为HTML文件 ``` 以上代码片段展示了如何创建一个简单的词云图表[^2]。 #### 四、注意事项 在实际操作过程中需要注意以下几点： - **反爬机制**：频繁访问可能导致 IP 封锁，建议加入随机延时或代理池。 - **合法性审查**：确保遵循目标网站的服务条款与隐私政策。 - **异常处理**：增加错误捕获逻辑提升程序稳定性。