### 使用 Scrapy 框架通过 GET 请求爬取 www.baidu.com 数据的方法 Scrapy 是一种功能强大且灵活的网络爬虫框架，能够轻松实现对网页数据的获取与解析。以下是具体说明以及完整的示例代码。 --- #### 1. 创建 Scrapy 项目 首先需要初始化一个新的 Scrapy 项目。运行以下命令以创建名为 `baidu_project` 的新项目： ```bash scrapy startproject baidu_project ``` 这会在当前工作目录下生成一个基础的 Scrapy 项目结构。 --- #### 2. 配置 Spider 进入刚创建的项目文件夹，并生成一个 Spider 来定义爬取逻辑： ```bash cd baidu_project scrapy genspider baidu_spider www.baidu.com ``` 这条命令会自动在 `spiders` 文件夹中生成一个名为 `baidu_spider.py` 的文件。 --- #### 3. 修改 Spider 文件 编辑 `baidu_spider.py` 文件，编写具体的爬取逻辑。以下是一个完整的示例代码： ```python import scrapy class BaiduSpider(scrapy.Spider): name = 'baidu' # 定义爬虫名称 allowed_domains = ['www.baidu.com'] # 允许爬取的域名范围 start_urls = ['https://www.baidu.com/'] # 初始请求 URL def parse(self, response): """ 解析响应内容并提取所需数据。 :param response: HTTP 响应对象 :return: 提取的数据字典 """ # 获取网页标题 title = response.xpath('//title/text()').get() # 输出结果 yield { 'website_title': title # 返回标题作为抓取的结果 } ``` 在这段代码中，使用了 XPath 表达式来定位 HTML 页面中的 `<title>` 标签，并将其内容提取出来[^4]。 --- #### 4. 执行爬虫 保存修改后的 Spider 文件后，在终端运行以下命令启动爬虫： ```bash scrapy crawl baidu -o result.json ``` 此命令表示运行名为 `baidu` 的爬虫，并将结果保存为 JSON 文件 `result.json`。 --- #### 5. 结果解释 假设一切顺利，程序会从百度首页抓取到 `<title>` 标签的内容，并将其存储在指定的输出文件中。例如，可能得到如下结果： ```json [ {"website_title": "百度一下，你就知道"} ] ``` --- #### 关键点补充 - **GET 请求**：默认情况下，Scrapy 发送的是 GET 请求。如果需要显式指定请求方法，可以重写 `start_requests()` 方法[^1]。 - **调度器与下载器**：Scrapy 自动管理请求队列和并发下载，开发者无需关心底层细节[^2]。 - **扩展性**：除了简单的页面抓取外，还可以结合 pipelines 和 item processors 实现更复杂的数据处理逻辑。 --- ### 示例代码总结 以上代码展示了一个基本的 Scrapy 爬虫实例，专门用于通过 GET 请求爬取百度首页的数据。它涵盖了从项目创建到最终执行的所有步骤。 ---