使用Python编写爬虫提取豆瓣top250数据并保存到文件，可按以下步骤实现： ### 1. 获取页面数据 使用`requests`库发送HTTP请求获取豆瓣top250页面的源代码。示例代码如下： ```python import requests url = "https://movie.douban.com/top250" resp = requests.get(url) pageSource = resp.text print(pageSource) ``` ### 2. 解析数据 可使用`XPath`方法解析页面数据。`XPath`是一门在XML文档中查找信息的语言，比正则表达式更常用且能使代码更简洁。示例代码如下： ```python import requests from lxml import etree # 发送请求获取页面内容 url = "https://movie.douban.com/top250" resp = requests.get(url) html = resp.text # 解析HTML文档 tree = etree.HTML(html) # 获取电影标题、评分、短评等信息 film_title_list = tree.xpath('//div[@class="hd"]/a/span[1]/text()') film_grade_list = tree.xpath('//div[@class="star"]/span[2]/text()') film_quote_list = tree.xpath('//span[@class="inq"]/text()') # 处理可能没有短评的情况 if len(film_quote_list) < len(film_title_list): diff = len(film_title_list) - len(film_quote_list) for _ in range(diff): film_quote_list.append('') ``` ### 3. 保存数据到文件 将解析后的数据保存到CSV文件中，可使用`csv`模块的`DictWriter`方法。示例代码如下： ```python import csv # 写入CSV文件 with open('douban_top250.csv', 'a+', newline='', encoding='utf-8') as csvfile: fieldnames = ['title', 'grade', 'quote'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) # 写入表头 writer.writeheader() # 写入数据 for title, grade, quote in zip(film_title_list, film_grade_list, film_quote_list): writer.writerow({'title': title, 'grade': grade, 'quote': quote}) ```