### 使用Scrapy框架爬取当当网数据的教程 Scrapy 是一个功能强大的 Python 框架，适用于从网页中提取结构化数据[^2]。以下是如何使用 Scrapy 框架爬取当当网数据的详细教程。 #### 1. 安装 Scrapy 在开始之前，确保已经安装了 Scrapy 框架。可以通过以下命令进行安装： ```bash pip install scrapy ``` #### 2. 创建 Scrapy 项目 创建一个新的 Scrapy 项目，并命名为 `dangdang_spider`： ```bash scrapy startproject dangdang_spider ``` 进入项目目录： ```bash cd dangdang_spider ``` #### 3. 定义目标数据模型 在 `items.py` 文件中定义需要抓取的数据字段，例如书名、价格和图片链接等[^4]： ```python import scrapy class DangDangItem(scrapy.Item): img = scrapy.Field() # 图片链接 name = scrapy.Field() # 书名 price = scrapy.Field() # 价格 ``` #### 4. 编写爬虫逻辑 创建一个新的爬虫文件，例如 `dangdang.py`，并定义爬取规则[^5]： ```python import scrapy from dangdang_spider.items import DangDangItem class DangDangSpider(scrapy.Spider): name = "dangdang" allowed_domains = ["dangdang.com"] start_urls = [ "http://book.dangdang.com/" ] def parse(self, response): # 提取图书信息 for book in response.css('ul.bigimg li'): item = DangDangItem() item['name'] = book.css('a::text').get() # 图书名称 item['price'] = book.css('span.search_now_price::text').get() # 价格 item['img'] = book.css('img::attr(data-original)').get() # 图片链接 yield item # 处理分页 next_page = response.css('a.next::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` #### 5. 数据处理与存储 在 `pipelines.py` 中定义数据存储逻辑[^5]。例如，将数据保存到 CSV 文件或数据库中： ```python import csv class DangDangPipeline: def __init__(self): self.file = open("dangdang_books.csv", "w", newline="", encoding="utf-8") self.writer = csv.writer(self.file) self.writer.writerow(["Name", "Price", "Image"]) def process_item(self, item, spider): self.writer.writerow([item['name'], item['price'], item['img']]) return item def close_spider(self, spider): self.file.close() ``` 在 `settings.py` 中启用管道： ```python ITEM_PIPELINES = { 'dangdang_spider.pipelines.DangDangPipeline': 300, } ``` #### 6. 运行爬虫 运行爬虫以开始抓取数据： ```bash scrapy crawl dangdang -o books.json ``` 以上代码将抓取当当网上的图书信息，并将其保存为 JSON 或 CSV 文件。 --- ### 注意事项 - 确保目标网站允许爬虫访问，遵守其 `robots.txt` 文件的规定。 - 如果目标页面是动态加载内容，可以结合 Selenium 或其他工具处理[^3]。 ---