### 使用 Scrapy 爬取当当网图片并保存为 JSON 文件的完整教程 以下内容详细描述了如何使用 Scrapy 框架爬取当当网上的图片，并将结果保存到 JSON 文件中。 #### 1. 创建 Scrapy 项目 通过命令行创建一个新的 Scrapy 项目，并生成一个用于爬取当当网图片的爬虫脚本。 ```bash scrapy startproject dangdang_spider cd dangdang_spider scrapy genspider dangdang www.dangdang.com ``` #### 2. 编写爬虫逻辑 在 `spiders/dangdang.py` 文件中定义爬虫逻辑，提取目标网站上的图片链接、书名和价格等信息。 ```python import scrapy class DangdangSpider(scrapy.Spider): name = "dangdang" allowed_domains = ["www.dangdang.com"] start_urls = ["https://category.dangdang.com/cp01.00.00.00.00.00.html"] def parse(self, response): # 提取页面中的书籍信息 for book in response.css("ul.bigimg li"): img_url = book.css("a img::attr(data-original)").get() # 图片链接 name = book.css("a@title").get() # 书名 price = book.css("p.price span.search_now_price::text").get() # 价格 yield { "img_url": img_url, "name": name, "price": price } # 处理分页 next_page = response.css("li.next a::attr(href)").get() if next_page: yield response.follow(next_page, callback=self.parse) ``` 此代码使用 CSS 选择器提取书籍的图片链接、书名和价格，并处理分页以抓取更多数据[^2]。 #### 3. 配置 JSON 输出 在 `settings.py` 文件中启用 JSON 输出功能，并设置输出文件路径。 ```python FEED_FORMAT = "json" # 输出格式为 JSON FEED_URI = "dangdang_books.json" # 输出文件路径 ``` #### 4. 运行爬虫 完成以上步骤后，可以通过以下命令运行爬虫，并开始抓取数据。 ```bash scrapy crawl dangdang ``` 运行成功后，所有抓取到的数据将被保存到项目目录下的 `dangdang_books.json` 文件中。 --- ### 注意事项 - 确保目标网站允许爬取其内容，遵守其 `robots.txt` 文件规则。 - 如果目标网站包含大量数据，可能需要调整 `DOWNLOAD_DELAY` 参数以避免对服务器造成过大压力。 - 对于需要登录或动态加载的内容，可能需要结合 Selenium 或其他工具进行处理。 --- ### 示例 JSON 输出 以下是爬取完成后可能生成的 JSON 文件内容示例： ```json [ { "img_url": "http://example.com/image1.jpg", "name": "Book Title 1", "price": "¥25.00" }, { "img_url": "http://example.com/image2.jpg", "name": "Book Title 2", "price": "¥30.00" } ] ``` ---