### 使用Python爬取豆瓣电影Top250的数据 要实现爬取豆瓣电影Top250的数据，可以按照以下方式构建一个完整的解决方案。以下是详细的说明： #### 数据请求与解析 为了获取豆瓣电影Top250的数据，通常会使用`requests`库来发送HTTP请求，并通过`BeautifulSoup`或`lxml`等工具解析HTML页面中的数据[^1]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` #### 构建URL列表 由于豆瓣电影Top250的页面是以分页形式展示的，每一页显示25部电影，因此可以通过循环生成不同页数对应的URL地址[^3]。 ```python base_url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } urls = ['{}?start={}&filter='.format(base_url, str(i * 25)) for i in range(10)] ``` #### 抓取和解析数据 对于每一个URL，发送GET请求并提取所需的信息（如电影名称、评分、导演等）。这些信息可以从HTML标签中找到，具体取决于目标网站的实际结构[^2]。 ```python data_list = [] for url in urls: response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') items = soup.find_all('div', class_='item') # 找到所有的电影条目 for item in items: rank = item.find('em').get_text() # 排名 title = item.find('span', class_='title').get_text() # 中文名字 rating_num = item.find('span', class_='rating_num').get_text() # 评分 data_list.append([rank, title, rating_num]) ``` #### 存储为CSV文件 将收集好的数据存入Pandas DataFrame对象中，随后调用`to_csv()`函数保存至本地磁盘上[^2]。 ```python df = pd.DataFrame(data_list, columns=['Rank', 'Title', 'Rating']) df.to_csv('douban_top_250.csv', index=False, encoding='utf-8-sig') ``` 这样就完成了整个流程的设计与实施过程[^1]。 ---