### Python爬虫实现豆瓣电影Top250第一页数据提取并保存至CSV 为了完成此任务，可以按照以下逻辑编写代码： 1. **发送HTTP请求**：通过`requests`库向目标URL发起GET请求。 2. **解析HTML页面**：使用`BeautifulSoup`库解析返回的HTML内容，提取所需字段（如电影名称、导演、主演、评分等）。 3. **存储数据到CSV文件**：将提取的数据写入CSV文件。 以下是完整的代码示例以及说明： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 定义目标URL和headers url = "https://movie.douban.com/top250?start=0&filter=" # 第一页链接 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 发送HTTP请求 response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') movies_data = [] items = soup.select('div.item') # 提取每部电影的相关信息 for item in items: name = item.find('span', class_='title').get_text(strip=True) # 获取电影名 rating_num = item.find('span', class_='rating_num').get_text(strip=True) if item.find('span', class_='rating_num') else None # 获取评分 bd_element = item.find('div', class_='bd') director_actor_info = bd_element.p.get_text(strip=True).split('\n')[0].strip() if bd_element and bd_element.p else None # 导演与演员信息 link = item.a['href'] if item.a else None # 获取详情页链接 movie_dict = { 'name': name, 'director_actor': director_actor_info, 'rating': rating_num, 'link': link } movies_data.append(movie_dict) else: raise Exception(f"Failed to fetch data from URL {url}. Status code: {response.status_code}") # 将数据转换为DataFrame并保存到CSV文件 df_movies = pd.DataFrame(movies_data) csv_file_path = './douban_top250_page1.csv' # 输出路径 df_movies.to_csv(csv_file_path, index=False, encoding='utf_8_sig') print("Data has been successfully saved to:", csv_file_path) ``` #### 关于代码的关键点解释： - 使用了`requests`库来模拟浏览器行为访问网站，并设置了一个常见的`User-Agent`头以避免被服务器拒绝连接[^1]。 - 利用了`BeautifulSoup`中的`.select()`方法定位HTML标签节点，具体选择了包含电影条目的`<div>`元素集合[^3]。 - 对每一项电影记录进行了详细的属性抽取操作，包括但不限于名字(`span.title`)、评价分数(`span.rating_num`)等内容[^2]。 - 借助Pandas框架创建表格型数据集对象(DataFrame)，并通过其内置函数轻松实现了对本地磁盘上的CSV文档写入功能[^2]。