scrapy爬虫重定向的请求，需要等待几秒才能拿到数据

### 使用 Scrapy 处理重定向并设置延迟为了确保在发生重定向之后，Scrapy 爬虫能够在继续处理页面之前等待一段时间，可以通过自定义下载中间件来实现这一目标。具体来说，在 `process_response` 方法中检测到重定向响应时应用延时。 #### 自定义下载中间件创建一个新的文件名为 `middlewares.py` 并加入如下代码： ```python from time import sleep import random from scrapy.downloadermiddlewares.retry import RetryMiddleware class CustomRedirectMiddleware(RetryMiddleware): def process_response(self, request, response, spider): if 'location' in response.headers and response.status in [301, 302]: wait_time = random.uniform(2, 5) # 随机生成2秒至5秒之间的浮点数作为等待时间 spider.logger.info(f"Detected redirection to {response.headers['Location'].decode()}. Waiting for {wait_time} seconds.") sleep(wait_time) redirected_request = request.replace(url=response.headers['Location'].decode()) return self._retry(redirected_request, reason='redirect', spider=spider) or response return super().process_response(request, response, spider) ``` 这段代码实现了当遇到 HTTP 3xx 类型的状态码（即发生了重定向）时，会先暂停执行一段随机的时间再发起新的请求[^3]。 #### 更新配置文件 settings.py 为了让上述自定义中间件生效，还需要编辑项目的 `settings.py` 文件，添加或更新以下内容以激活该中间件: ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomRedirectMiddleware': 600, } ``` 这里假设项目名称为 `myproject` ，请根据实际情况调整路径名。通过这种方式，每当爬虫接收到一个重定向指令时就会触发设定好的逻辑，从而实现在转向新 URL 前适当延后的效果[^4]。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 pycharm git cannot load information for github