### 爬取豆瓣电影排行榜的Python代码示例 以下是一个完整的Python脚本，用于爬取豆瓣电影Top250排行榜的数据，并将其保存为CSV文件。此脚本使用了`requests`库来发送HTTP请求，以及`BeautifulSoup`库来解析HTML内容[^1]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 定义请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.3" } # 初始化存储数据的列表 movies_data = [] # 豆瓣电影Top250排行榜的URL模板 base_url = "https://movie.douban.com/top250" # 循环遍历所有页面 for page in range(10): # 共有10页数据 url = f"{base_url}?start={page * 25}&filter=" response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 解析每一页的电影信息 items = soup.find_all('div', class_='item') for item in items: rank = item.find('em').get_text() # 排名 title = item.find('span', class_='title').get_text() # 电影名称 rating = item.find('span', class_='rating_num').get_text() # 评分 quote_tag = item.find('span', class_='inq') # 引用语 quote = quote_tag.get_text() if quote_tag else "无" movies_data.append([rank, title, rating, quote]) else: print(f"Failed to fetch data from page {page + 1}") # 将数据转换为DataFrame并保存为CSV文件 df = pd.DataFrame(movies_data, columns=['排名', '电影名称', '评分', '引用语']) df.to_csv('douban_top250_movies.csv', index=False, encoding='utf-8-sig') print("数据已成功保存到 douban_top250_movies.csv 文件中") ``` #### 说明 上述代码通过发送HTTP请求获取豆瓣电影Top250排行榜页面的HTML内容，并利用`BeautifulSoup`解析HTML结构以提取所需信息。最终，使用`pandas`库将数据保存为CSV文件[^2]。 #### 注意事项 在实际应用中，可能需要考虑更多的情况，例如错误处理、更复杂的网页结构等。此外，确保遵守目标网站的robots.txt规则和相关法律法规[^3]。