### 如何修改 Scrapy 爬虫代码以实现多页面爬取 为了使 Scrapy 爬虫能够抓取多个页面，可以通过重写 `start_requests` 方法或者在解析函数中动态生成新的请求来完成。以下是具体的实现方法： #### 修改后的代码结构 1. **定义 Item 类** 需要在 `items.py` 文件中定义数据模型，这里假设我们需要存储每页的内容摘要或其他信息。 ```python import scrapy class MultiPageItem(scrapy.Item): url = scrapy.Field() content = scrapy.Field() ``` 2. **Spider 实现** 下面是一个完整的 Spider 示例，展示如何通过循环 URL 模式并发送请求的方式实现多页面爬取。 ```python import scrapy class LuasSpider(scrapy.Spider): name = 'luas_spider' allowed_domains = ['www.luas.edu.cn'] # 初始页面范围设置 start_page = 1 end_page = 5 def start_requests(self): """生成初始请求""" base_url = "https://www.luas.edu.cn/_t1/22/list" for page in range(self.start_page, self.end_page + 1): url = f"{base_url}{page}.htm" yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): """解析单个页面内容""" item = MultiPageItem() # 假设目标网页有特定的选择器可以提取所需的信息 urls_on_page = response.css('a::attr(href)').getall() # 提取链接作为示例 contents_on_page = response.css('.content p::text').getall() # 提取段落文字 # 将当前页面的 URL 和内容存入 Item 中 for idx, (url, content) in enumerate(zip(urls_on_page, contents_on_page)): item['url'] = url item['content'] = content.strip() yield item # 如果需要进一步处理分页逻辑（比如下一页按钮），可以在下方扩展 ``` 此代码片段实现了以下功能： - 使用 `range()` 函数遍历指定的起始页码到结束页码之间的所有页面[^1]。 - 动态拼接 URL 并向其发起 GET 请求[^2]。 - 解析响应内容并将结果保存至自定义的 `MultiPageItem` 对象中[^3]。 如果目标网站存在反爬机制，则可能需要额外配置 User-Agent 或启用代理池等功能[^4]。 --- ### 注意事项 当遇到 HTTP 错误状态码时（如 403 Forbidden），应考虑调整请求头参数或模拟浏览器行为访问服务器资源[^4]。