### 使用Scrapy实现京东手机类目下的多页面高效稳定抓取 为了实现对京东网站上关于“手机”商品的数据进行高效的多页面抓取，可以采用以下方法： #### 1. 安装必要的库 确保安装了 `scrapy` 和其他可能需要用到的依赖项。可以通过命令行执行以下操作来安装这些包： ```bash pip install scrapy requests redis ``` 如果计划使用 Scrapy-Redis 实现分布式爬虫，则还需要额外配置 Redis 数据库并安装相应的 Python 库。 #### 2. 创建项目结构 创建一个新的 Scrapy 项目用于此特定的任务，并定义好 Spider 类文件夹中的 spider 文件。 ```bash scrapy startproject jd_phone_spider cd jd_phone_spider scrapy genspider jd_phone_list jd.com ``` #### 3. 编写Spider逻辑 编辑生成的spider脚本，在其中加入处理分页的功能以及时间统计模块。以下是简化版的代码片段示例[^1]: ```python import time from datetime import timedelta import logging import scrapy class JdPhoneListSpider(scrapy.Spider): name = 'jd_phone_list' custom_settings = { "DOWNLOAD_DELAY": 1, "CONCURRENT_REQUESTS_PER_DOMAIN": 8, "AUTOTHROTTLE_ENABLED": True, "LOG_LEVEL": "INFO" } def __init__(self, *args, **kwargs): super(JdPhoneListSpider, self).__init__(*args, **kwargs) self.start_time = time.time() def start_requests(self): base_url = 'https://list.jd.com/list.html?cat=9987%2C653%2C655&page={}' for i in range(1, 81): # 设置要爬取的总页数为80页 yield scrapy.Request(url=base_url.format(i), callback=self.parse) def parse(self, response): items = [] product_links = response.css('div.p-name a::attr(href)').getall() for link in product_links: item = {} absolute_link = response.urljoin(link.strip()) item['url'] = absolute_link items.append(item) return items def closed(self, reason): end_time = time.time() elapsed_seconds = int(end_time - self.start_time) log_message = f"Crawling completed after {timedelta(seconds=elapsed_seconds)}" logging.info(log_message) ``` 这段程序实现了基本的分页请求发送机制，并且会在关闭时打印出总的运行时间作为性能指标的一部分。 #### 4. 配置中间件和其他设置 考虑到反爬措施的存在，建议适当调整下载延迟(`DOWNLOAD_DELAY`)参数以减少被封禁的风险；同时启用自动限流(AUTOTHROTTLE)，这有助于保持合理的访问频率而不至于给服务器造成过大压力。 此外，还可以考虑引入代理池或User-Agent轮换策略进一步增强隐蔽性和成功率。 #### 5. 执行爬虫任务 最后一步就是启动爬虫开始工作啦！可以在终端里输入如下指令开启爬虫进程： ```bash scrapy crawl jd_phone_list ``` 这样就可以让爬虫按照设定好的规则去遍历指定范围内的页面链接，并收集所需的信息了。