### 使用Python编写爬虫抓取豆瓣电影Top250第一页的详细信息 以下是一个完整的解决方案，用于从豆瓣电影Top250第一页中提取电影的图片、名字、导演、主演和评论等信息。 #### 代码实现 ```python import requests from bs4 import BeautifulSoup # 定义请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 发送GET请求获取网页内容 url = "https://movie.douban.com/top250?start=0&filter=" response = requests.get(url, headers=headers) # 解析HTML文档 soup = BeautifulSoup(response.text, 'html.parser') # 查找所有电影项 movies = soup.find_all('div', class_='item') # 存储结果的数据列表 results = [] for movie in movies: # 提取电影名称 title_tags = movie.find_all('span', class_='title') chinese_title = title_tags[0].text.strip() if len(title_tags) > 0 else "" foreign_title = title_tags[1].text.replace(u'\xa0/\xa0', '').strip() if len(title_tags) > 1 else "" # 提取导演和主演信息 info_tag = movie.find('div', class_='bd').find('p') director_actor_info = info_tag.text.strip().split('\n')[0].replace(' ', '') if info_tag else "" # 提取电影图片链接 img_tag = movie.find('img') poster_url = img_tag['src'].strip() if img_tag and 'src' in img_tag.attrs else "" # 提取电影评分 rating_num = movie.find('span', class_='rating_num').text.strip() if movie.find('span', class_='rating_num') else "" # 提取经典短评 quote_tag = movie.find('span', class_='inq') short_comment = quote_tag.text.strip() if quote_tag else "" # 将提取的信息存入字典 results.append({ 'Chinese Title': chinese_title, 'Foreign Title': foreign_title, 'Director & Cast Info': director_actor_info, 'Poster URL': poster_url, 'Rating': rating_num, 'Short Comment': short_comment }) # 输出结果 for result in results: print(result) ``` --- #### 实现细节说明 - **请求头设置**：通过指定`User-Agent`字段模拟真实的浏览器环境，防止被服务器识别为自动化程序而拒绝服务[^4]。 - **HTML解析工具**：采用`BeautifulSoup`库解析HTML文档结构，方便查找特定标签及其属性值。例如，使用`find()`或`find_all()`方法定位目标元素[^2]。 - **数据提取逻辑**： - 对于电影名称，分别处理中文名和外文名两种情况； - 导演与主演信息位于同一段落内，需先去除多余的空白符再按规则拆分； - 图片链接直接从`<img>`标签中的`src`属性读取； - 经典短评则由类名为`inq`的`<span>`标签承载[^3]。 - **异常处理**：针对可能出现的空值或者缺少某部分内容的情况进行了适当防护，确保不会因为个别错误而导致整个程序崩溃。 --- ###