### 使用 Scrapy 实现多级页面抓取 对于复杂的网站结构，尤其是涉及到多个层次的链接跳转时，Scrapy 提供了一种高效的方法来遍历这些层级并提取所需的信息。下面是一个具体的例子，展示如何利用 Scrapy 来完成三级页面的数据采集。 #### 定义项目结构 首先创建一个新的 Scrapy 项目，并设置好基本目录结构： ```bash scrapy startproject multi_level_crawler cd multi_level_crawler ``` 接着，在 `spiders` 文件夹下新建一个名为 `three_levels_spider.py` 的蜘蛛脚本文件。 #### 编写 Spider 脚本 在这个 spider 中，将定义三个主要部分：初始 URL 请求、解析列表页以及深入到详情页获取最终目标数据。 ```python import scrapy from ..items import MultiLevelCrawlerItem class ThreeLevelsSpider(scrapy.Spider): name = "three_levels" allowed_domains = ["example.com"] start_urls = ['http://www.example.com/'] def parse(self, response): # 获取第一页中的所有分类链接 (假设每个类别对应第二层) category_links = response.css('a.category-link::attr(href)').getall() for link in category_links: yield response.follow(link, callback=self.parse_category) def parse_category(self, response): # 在每一个类别的页面上找到所有的商品链接(第三层) product_links = response.css('div.product a::attr(href)').getall() for plink in product_links: yield response.follow(plink, callback=self.parse_product) def parse_product(self, response): item = MultiLevelCrawlerItem() item['title'] = response.xpath('//h1/text()').get().strip() item['description'] = ''.join(response.xpath("//p[@id='product-description']/text()").extract()).strip() item['price'] = float(response.css('.price span::text').re_first(r'\$(\d+\.\d+)')) yield item ``` 此代码片段展示了如何通过 CSS Selectors 或 XPath 表达式从 HTML 文档中抽取特定的内容[^1]。这里假定每一页都有独特的标签用于区分不同级别的导航路径；实际应用时需根据具体站点调整选择器表达式的匹配规则。 #### 配置 Items 和 Pipelines 为了保存抓取下来的数据，还需要编辑项目的 items 及 pipelines 设置。在 `items.py` 添加如下字段描述： ```python import scrapy class MultiLevelCrawlerItem(scrapy.Item): title = scrapy.Field() description = scrapy.Field() price = scrapy.Field() ``` 同时可以在 `pipelines.py` 中加入逻辑处理已收集的数据项，比如清洗、转换或是持久化存储至数据库等操作。 ---