### Python爬虫实现豆瓣电影Top250第一页详细信息提取 为了满足需求，可以从以下几个方面入手：发送HTTP请求、解析HTML页面结构、提取所需字段（如名字、导演、主演、图片链接和短评），并将这些数据整理成易于处理的形式。 以下是具体的代码实现及其说明： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置目标URL与请求头部信息 url = "https://movie.douban.com/top250?start=0&filter=" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 请求网页内容 response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') movies_data = [] items = soup.select('div.item') # 找到所有的电影条目 for item in items: name_tag = item.find('span', class_='title') name = name_tag.get_text(strip=True) if name_tag else None # 获取电影名称 info_tag = item.find('div', class_='bd').find('p') director_actor_info = info_tag.get_text(strip=True).replace("\n", "").split("主演")[0] if info_tag else None # 提取导演与演员信息 image_url = item.find('img')['src'] if item.find('img') else None # 获取海报图片链接 rating_num = item.find('span', class_='rating_num').get_text(strip=True) if item.find('span', class_='rating_num') else None # 获取评分 quote_tag = item.find('span', class_='inq') comment = quote_tag.get_text(strip=True) if quote_tag else "" # 获取经典评论 movie_dict = { 'name': name, 'director_actor': director_actor_info, 'image_url': image_url, 'rating': rating_num, 'comment': comment } movies_data.append(movie_dict) else: raise Exception(f"Failed to fetch data from URL {url}. Status code: {response.status_code}") # 转换为DataFrame并展示前几行数据 df_movies = pd.DataFrame(movies_data) print(df_movies.head()) # 可选：保存到CSV文件 output_path = "./douban_top250_page1_details.csv" df_movies.to_csv(output_path, index=False, encoding='utf_8_sig') ``` #### 关键点分析： - **请求配置**：设置了自定义的`User-Agent`字符串来模仿真实用户的浏览器行为，从而减少因频繁访问而触发反爬机制的可能性[^1]。 - **HTML解析**：利用`BeautifulSoup`库的强大功能定位特定标签节点，并从中提取有用的信息。例如，通过CSS选择器找到所有代表单个电影项目的`div.item`容器[^2]。 - **数据清洗**：对于某些复杂字段（如导演加演员组合描述），采用了简单的文本分割技术去除多余部分；同时考虑到可能存在的缺失值情况，在读取之前加入了必要的空值判断逻辑[^3]。 - **结果呈现**：最终将收集好的数据构建成Pandas DataFrame形式便于后续查看或进一步加工处理[^4]。 --- ###