### 使用Python爬虫抓取豆瓣电影Top250数据并存储为CSV文件 为了实现这一目标，可以采用`requests`库来发送HTTP请求获取网页内容，并利用`BeautifulSoup`解析HTML文档提取所需的信息。最后，通过`csv`模块将数据保存至CSV文件。 以下是完整的解决方案： #### 安装依赖库 在运行程序之前，请确保安装所需的第三方库： ```bash pip install requests beautifulsoup4 ``` #### 编写爬虫代码 下面是一个完整的Python脚本示例[^1]，它能够完成从豆瓣网站抓取Top250电影信息的任务，并将其保存到名为`豆瓣top250评分数据.csv`的文件中[^2]。 ```python import requests from bs4 import BeautifulSoup import csv def fetch_movie_data(url, headers): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movie_list = [] items = soup.select('div.item') # 获取每部电影的主要信息块 for item in items: name = item.find('span', class_='title').get_text() # 提取电影名称 info = item.find('div', class_='bd').find('p').get_text().strip() director_actor_info = info.split('\n')[0].split(': ')[1] year_country_categories = info.split('\n')[1] try: director = director_actor_info.split(',')[0] actor = ','.join(director_actor_info.split(',')[1:]) year = year_country_categories.strip().split('/')[0].strip() country = year_country_categories.strip().split('/')[1].strip() categories = year_country_categories.strip().split('/')[-1].strip() except IndexError: continue scoring = item.find('span', class_='rating_num').get_text() # 提取评分 movie_list.append([name, director, actor, year, country, categories, scoring]) return movie_list def save_to_csv(data, filename='豆瓣top250评分数据.csv'): with open(filename, 'a+', encoding='utf-8', newline='') as f: writer = csv.writer(f) if f.tell() == 0: # 如果文件为空，则写入表头 writer.writerow(['Movie_Name', 'Director', 'Actor', 'Year', 'Country', 'Categories', 'Scoring']) writer.writerows(data) if __name__ == '__main__': base_url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } all_movies = [] for i in range(10): # 豆瓣Top250分为10页展示 url = f'{base_url}?start={i * 25}' movies = fetch_movie_data(url, headers) all_movies.extend(movies) save_to_csv(all_movies) ``` 上述代码实现了以下功能： 1. **网络请求**：使用`requests`库向指定URL发起GET请求。 2. **页面解析**：借助`BeautifulSoup`解析返回的HTML文档，定位到包含电影详情的部分。 3. **数据处理**：逐条提取电影名、导演、演员列表、上映年份、国家地区以及分类标签等字段。 4. **持久化存储**：调用自定义函数`save_to_csv()`把整理后的记录追加到本地磁盘上的CSV文件里。 注意，在实际部署过程中可能还需要考虑反爬机制的影响，比如设置合理的延时访问间隔或者更换IP地址池等方式规避被封禁的风险。 ---