### 使用 Scrapy 爬虫框架爬取网站中的图片 #### 1. 配置项目结构 在开始爬取之前，需要创建一个新的 Scrapy 项目。通过以下命令生成项目： ```bash scrapy startproject imageSpider ``` 这将生成一个包含多个文件和目录的项目结构，其中 `pipelines.py` 文件用于定义数据处理管道[^2]。 #### 2. 定义 Item 模型 在 `items.py` 文件中定义需要爬取的数据模型。例如，如果目标是爬取图片链接，可以定义如下 Item 类[^1]： ```python import scrapy class ImageItem(scrapy.Item): src = scrapy.Field() ``` #### 3. 创建爬虫脚本 使用以下命令创建一个名为 `image` 的爬虫： ```bash scrapy genspider image "example.com" ``` 在生成的爬虫脚本中，解析页面以提取图片链接。例如，从页面中提取所有图片的 `src` 属性值： ```python import scrapy class ImageSpider(scrapy.Spider): name = 'image' allowed_domains = ['example.com'] start_urls = ['http://example.com/images'] def parse(self, response): for img in response.css('img'): item = ImageItem() item['src'] = img.xpath('@src').extract_first() yield item ``` #### 4. 配置图片下载管道 Scrapy 提供了专门用于下载图片的 `ImagesPipeline`。在 `pipelines.py` 文件中定义一个继承自 `ImagesPipeline` 的类： ```python from scrapy.pipelines.images import ImagesPipeline class CustomImagesPipeline(ImagesPipeline): def file_path(self, request, response=None, info=None, *, item=None): # 自定义保存路径 return request.url.split('/')[-1] ``` #### 5. 启用管道 在 `settings.py` 文件中启用自定义的图片下载管道，并配置图片存储路径[^2]： ```python ITEM_PIPELINES = { 'imageSpider.pipelines.CustomImagesPipeline': 1, } # 配置图片存储路径 IMAGES_STORE = './images' # 允许重定向 MEDIA_ALLOW_REDIRECTS = True ``` #### 6. 运行爬虫 通过以下命令运行爬虫，并将结果输出到控制台或保存为文件： ```bash scrapy crawl image ``` 上述命令会启动爬虫并将图片下载到指定的存储路径中。 --- #### 注意事项 - 如果图片地址为相对路径，需要将其转换为绝对路径。可以通过 `response.urljoin()` 方法实现[^1]。 - 对于动态加载的图片（如懒加载），可能需要结合 Selenium 或其他工具模拟浏览器行为[^2]。 ---