### 如何使用 Scrapy 框架构建 Python 爬虫 #### 安装 Scrapy 要开始使用 Scrapy 构建爬虫，首先需要安装该框架。可以通过 `pip` 工具完成安装： ```bash pip install scrapy ``` #### 创建 Scrapy 项目 通过以下命令可以初始化一个新的 Scrapy 项目： ```bash scrapy startproject myproject cd myproject ``` 这会生成一个名为 `myproject` 的目录结构，其中包含了多个重要文件和子目录。 #### 文件结构概述 Scrapy 项目的典型文件结构如下所示[^3]: - **scrapy.cfg**: 这是一个配置文件，主要用于支持 Scrapy 命令行工具的基础设置。 - **items.py**: 定义数据模型的模块，类似于 Django 中的 Model 类型。 - **pipelines.py**: 处理提取的数据的行为定义位置，比如将数据保存到数据库或文件中。 - **settings.py**: 包含全局配置选项的地方，例如最大递归深度、并发请求数量以及下载延迟等参数。 - **spiders/**: 存放具体蜘蛛程序（即爬虫脚本）的位置，在这里编写具体的网页抓取逻辑。 #### 编写 Spider 下面展示了一个简单的 Spider 实现例子，它访问指定网站并获取页面上的 `<title>` 标签内容： ```python import scrapy class ExampleSpider(scrapy.Spider): name = 'example' # 爬虫名称 start_urls = ['https://example.com'] # 初始URL列表 def parse(self, response): """解析响应""" title = response.xpath('//title/text()').get() # 使用 XPath 提取标题文字 yield {'title': title} # 返回字典形式的结果 # 如果还需要继续跟踪其他链接，则可实现此部分代码 for link in response.css('a::attr(href)').getall(): yield response.follow(link, callback=self.parse) ``` 这段代码展示了如何利用 Scrapy 来创建一个基本的爬虫实例，并演示了两种常用的选择器方法——XPath 和 CSS Selectors[^2]。 #### 执行爬虫任务 启动刚刚编写的爬虫非常简单，只需执行下列命令即可将其运行起来并将结果导出至 JSON 文件当中： ```bash scrapy crawl example -o output.json ``` 以上就是基于 Scrapy 开发 Python Web Crawler 的全过程介绍[^1]。 --- ###