### 解决方案 在 Scrapy 中，`parse` 函数作为默认回调函数用于处理初始请求的响应数据。如果希望打印响应的状态码但未看到任何输出，可能的原因包括但不限于以下几个方面： #### 1. 请求被过滤 Scrapy 默认会过滤重复的 URL 请求。如果 `start_urls` 或其他地方发起了相同的请求，则后续请求可能会被忽略而不触发回调函数。可以通过设置 `dont_filter=True` 来禁用此行为[^1]。 ```python yield scrapy.Request(url='http://example.com', callback=self.parse, dont_filter=True) ``` #### 2. 响应对象为空或异常 有时由于网络问题或其他原因，实际接收到的响应可能是空或者不符合预期。可以在 `parse` 方法中加入调试语句验证响应是否存在以及其状态码是否正常。 ```python def parse(self, response): if response: print(f"Response status code: {response.status}") # 打印状态码 else: print("No valid response received.") ``` 上述代码片段可以用来确认是否有有效的响应返回并显示其状态码。 #### 3. 日志级别配置过高 Scrapy 使用日志记录框架，默认情况下某些较低级别的消息（如 DEBUG）不会显示除非调整了日志等级。确保项目设置了适当的日志水平以便查看更详细的运行情况说明。 ```bash LOG_LEVEL = 'DEBUG' ``` 将以上行添加到项目的 settings.py 文件中能够帮助捕获更多细节信息[^2]。 #### 4. Spider 启动方式不当 当通过命令行启动爬虫时如果没有指定正确的入口点也可能造成逻辑跳过现象发生。务必按照官方文档推荐的方式调用spider实例化过程[^3]。 --- ### 完整示例代码 下面提供了一个完整的 spider 脚本例子展示如何正确实现功能需求: ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" custom_settings = { 'LOG_LEVEL': 'DEBUG', } start_urls = ['https://www.example.com'] def parse(self, response): """解析页面""" self.logger.debug('Visited %s', response.url) print(f"Status Code: {response.status}") # 继续抓取下一个链接... next_page_url = 'https://www.example.org/next-page.html' yield scrapy.Request(next_page_url, callback=self.parse_next, dont_filter=True) def parse_next(self, response): """处理第二个页面的数据""" pass ``` --- ### 总结 综上所述，要成功地在 `parse` 函数里输出响应状态码需要注意几个要点：一是保证每个 request 都有 unique identifier；二是合理利用 logging system 提升可见度最后再配合恰当的开发工具链完成整个流程测试工作即可顺利解决问题^.