### 配置并运行 Scrapy-Redis 在同一台计算机上配置和运行 Scrapy-Redis，需要完成以下几个关键步骤：安装依赖、配置 Redis 服务、修改 Scrapy 项目的设置文件以及运行爬虫。 #### 1. 安装 Scrapy 和 Scrapy-Redis 首先，确保已经安装了 Scrapy 和 Scrapy-Redis。可以通过以下命令安装： ```bash pip install scrapy scrapy-redis ``` #### 2. 配置 Redis 服务 为了使用 Redis 作为队列存储媒介，需要在本地安装并启动 Redis 服务。如果需要设置密码，请按照引用[^2]中的说明进行操作。具体步骤如下： - 编辑 Redis 的配置文件 `redis.windows-service.conf`，找到 `requirepass foobared` 字样，并在其后追加一行，输入 `requirepass 123456`。 - 重启 Redis 服务以使配置生效。可以通过以下路径进入服务管理界面：右键计算机 -> 管理 -> 服务和应用程序 -> 服务，然后重启 Redis 服务。 #### 3. 修改 Scrapy 项目的设置文件 在 Scrapy 项目中，需要对 `settings.py` 文件进行修改，以支持 Scrapy-Redis 的分布式功能。根据引用[^4]，以下是需要添加的配置项： ```python # 启用 Redis 存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用 Redis 进行去重过滤 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 配置调度队列类型（可选） SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' # 优先级队列 # SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderQueue' # FIFO 队列 # SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderStack' # LIFO 队列 # 是否持久化 Redis 请求队列，在爬虫关闭时不清空队列 SCHEDULER_PERSIST = True ``` 这些配置项的作用分别是： - `SCHEDULER` 替换默认的调度器为基于 Redis 的调度器。 - `DUPEFILTER_CLASS` 使用 Redis 实现去重过滤功能。 - `SCHEDULER_QUEUE_CLASS` 指定队列类型，例如优先级队列、FIFO 或 LIFO。 - `SCHEDULER_PERSIST` 决定是否在爬虫关闭后保留队列中的请求。 #### 4. 运行爬虫 完成上述配置后，可以运行爬虫。Scrapy-Redis 的分布式功能允许多个爬虫实例共享同一个 Redis 队列。在同一台计算机上运行多个实例时，可以使用以下命令启动多个爬虫进程： ```bash scrapy crawl your_spider_name ``` 如果需要模拟多线程或多进程运行，可以参考引用[^5]中的代码示例。通过创建多个线程或进程来启动不同的爬虫实例，从而提高爬取效率。 --- ### 注意事项 - 确保 Redis 服务已正确安装并运行。 - 如果设置了 Redis 密码，需要在 Scrapy 项目的 `settings.py` 中指定连接参数： ```python REDIS_URL = 'redis://:123456@localhost:6379' ``` 其中 `123456` 是 Redis 的密码。 --- ### 示例代码 以下是一个简单的 Scrapy-Redis 项目结构和配置示例： ```python # settings.py SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' SCHEDULER_PERSIST = True REDIS_URL = 'redis://:123456@localhost:6379' ``` ```python # spiders/example_spider.py import scrapy from scrapy_redis.spiders import RedisSpider class ExampleSpider(RedisSpider): name = 'example' redis_key = 'example:start_urls' def parse(self, response): yield {'url': response.url} ``` --- ###