### 使用Python爬虫抓取豆瓣Top250电影页面 为了实现对豆瓣Top250电影页面的数据采集，可以采用`requests`库发送HTTP请求以及`lxml`库中的XPath方法解析HTML文档。下面是一个简单的例子说明如何操作： #### 导入必要的模块 ```python import requests from lxml import etree ``` #### 发送GET请求获取网页源码 定义一个函数用于向目标URL发出GET请求，并返回响应对象的内容。 ```python def get_page_source(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to retrieve page with status code {response.status_code}") return None ``` #### 解析HTML并提取所需信息 利用etree.HTML()将字符串形式的html转换成ElementTree对象；接着调用xpath表达式定位到特定节点下的文本或属性值。 ```python def parse_html(html_content): tree = etree.HTML(html_content) movie_items = [] titles = tree.xpath('//div[@class="item"]//span[@class="title"]/text()') ratings = tree.xpath('//div[@class="star"]/span[@class="rating_num"]/text()') for title, rating in zip(titles, ratings): item = {"Title": title.strip(), "Rating": float(rating)} movie_items.append(item) return movie_items ``` #### 主逻辑流程控制 组合上述两个辅助功能完成整个过程。 ```python if __name__ == "__main__": base_url = "https://movie.douban.com/top250?start=" all_movies = [] for i in range(0, 250, 25): # 遍历每一页 url = f"{base_url}{i}" html = get_page_source(url) if not html: continue movies_on_this_page = parse_html(html) all_movies.extend(movies_on_this_page) # 打印前几条记录作为验证 for idx, movie in enumerate(all_movies[:5], start=1): print(f"No.{idx}: Title={movie['Title']}, Rating={movie['Rating']}") ``` 此脚本实现了基本的功能需求，即从首页开始逐页加载直到最后一条记录为止。需要注意的是，在实际应用过程中应当遵循网站的服务条款和robots.txt文件的规定[^3]。