在Scrapy框架中，如果你想要爬取多个地区，每个地区又有50页的数据，可以创建多个Spider，每个Spider负责爬取特定地区的数据。以下是基本的步骤： 1. **创建Spider**：为每个地区创建一个新的Scrapy Spider，比如为北京创建`bj_spider.py`，为上海创建`sh_spider.py`等。在每个Spider中，定义对应的起始URL（地区搜索结果页面）和XPath选择器。 ```python class BeijingSpider(CrawlSpider): name = 'bj_spider' start_urls = ['http://example.com/bj?page=1'] # 北京地区的起始URL，这里需替换为实际页面地址 ... class ShanghaiSpider(CrawlSpider): name = 'sh_spider' start_urls = ['http://example.com/sh?page=1'] # 上海地区的起始URL，同样替换为实际地址 ... ``` 2. **处理请求和响应**：在Spider的`parse`函数中，处理每一页的数据提取，并在完成后发送下一页的请求。使用Scrapy的`yield Request`方法，设置`callback`属性为处理下一页的函数。 3. **解析和存储数据**：在`parse`函数内部，提取每个页面中的信息，例如地区名称和职位信息。使用`yield Item`从Item Pipeline中存储数据。 ```python def parse(self, response): region_data = response.xpath('//div[@class="region-name"]').get() jobs = response.xpath('//div[@class="job-item"]') # 假设这是职位信息的位置 for job in jobs: yield { 'region': region_data, 'job_info': job.extract(), } # 发送下一页请求 next_page_num = int(response.url.split('page=')[1]) + 1 next_page_url = f'http://example.com/{self.name}?page={next_page_num}' yield Request(next_page_url, callback=self.parse) ``` 4. **设置最大爬取次数**：在项目的settings.py中，你可以为每个Spider设置`DEPTH_LIMIT`，限制其最多爬取多少层级。由于我们只关心50页，所以不需要太深的深度限制，但可以根据需求调整。 5. **运行爬虫**：最后，在命令行中分别运行每个Spider，如`scrapy crawl bj_spider` 和 `scrapy crawl sh_spider`。