### Python Scrapy库常用函数和类的使用教程 #### 1. Scrapy项目结构 Scrapy项目的标准目录结构包含以下主要文件[^3]： - **spiders/**：存放爬虫脚本。 - **items.py**：定义数据结构，通常用于描述抓取的数据字段。 - **pipelines.py**：实现数据存储逻辑，例如将数据保存到文件或数据库中。 - **settings.py**：配置全局参数，如并发数、请求头等。 #### 2. 常用类及函数详解 ##### (1) Spider类 Spider类是Scrapy的核心组件，用于定义爬虫行为。继承`scrapy.Spider`类并实现相关方法[^1]。 ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" # 爬虫名称 start_urls = ["http://example.com"] # 起始URL列表 def parse(self, response): # 解析页面内容 data = response.css("div.data::text").getall() yield {"data": data} ``` 上述代码定义了一个简单的爬虫，通过`parse`方法提取页面中的文本数据[^1]。 ##### (2) Items类 Items类用于定义爬取的数据结构。在`items.py`中定义字段[^3]。 ```python import scrapy class MyItem(scrapy.Item): title = scrapy.Field() # 文章标题 content = scrapy.Field() # 文章内容 ``` ##### (3) Pipelines类 Pipelines类负责处理从Spider传递过来的Item对象，并将其保存到文件或数据库中[^4]。 ```python from itemadapter import ItemAdapter class MyPipeline: def open_spider(self, spider): self.file = open("output.json", "w", encoding="utf-8") def process_item(self, item, spider): line = json.dumps(ItemAdapter(item).asdict(), ensure_ascii=False) + "\n" self.file.write(line) return item def close_spider(self, spider): self.file.close() ``` 上述代码展示了如何将爬取的数据写入JSON文件[^4]。 ##### (4) Settings配置 在`settings.py`中配置Scrapy的行为，例如并发请求数量、下载延迟等[^3]。 ```python # 设置并发请求数量 CONCURRENT_REQUESTS = 16 # 设置下载延迟 DOWNLOAD_DELAY = 1 # 启用中间件 DOWNLOADER_MIDDLEWARES = { 'my_project.middlewares.MyMiddleware': 543, } # 启用管道 ITEM_PIPELINES = { 'my_project.pipelines.MyPipeline': 300, } ``` ##### (5) Middlewares类 Middlewares类用于修改请求或响应，例如添加自定义请求头。 ```python class MyMiddleware: def process_request(self, request, spider): request.headers["User-Agent"] = "Mozilla/5.0" return None ``` #### 3. Scrapy常用函数 ##### (1) `response.css` 和 `response.xpath` 这两个方法用于从HTML页面中提取数据。 ```python # 使用CSS选择器提取数据 titles = response.css("h1.title::text").getall() # 使用XPath表达式提取数据 links = response.xpath("//a/@href").getall() ``` ##### (2) `yield` 和 `Request` 通过`yield`返回数据或发起新的请求。 ```python def parse(self, response): # 提取链接 links = response.css("a::attr(href)").getall() for link in links: yield scrapy.Request(url=link, callback=self.parse_detail) def parse_detail(self, response): # 提取详细信息 data = response.css("div.content::text").get() yield {"data": data} ``` ##### (3) `start_requests` 默认情况下，Scrapy会自动调用`start_requests`方法生成初始请求[^1]。 ```python def start_requests(self): for url in self.start_urls: yield scrapy.Request(url=url, callback=self.parse) ``` #### 4. 示例：完整爬虫项目 以下是一个完整的Scrapy项目示例，展示如何抓取网站数据并保存到文件中[^1]。 ```python # items.py import scrapy class BookItem(scrapy.Item): title = scrapy.Field() price = scrapy.Field() # spiders/example_spider.py import scrapy class ExampleSpider(scrapy.Spider): name = "example" start_urls = ["http://books.toscrape.com"] def parse(self, response): books = response.css("article.product_pod") for book in books: title = book.css("h3 a::text").get() price = book.css("p.price_color::text").get() yield BookItem(title=title, price=price) # pipelines.py from itemadapter import ItemAdapter class BookPipeline: def open_spider(self, spider): self.file = open("books.json", "w", encoding="utf-8") def process_item(self, item, spider): line = json.dumps(ItemAdapter(item).asdict(), ensure_ascii=False) + "\n" self.file.write(line) return item def close_spider(self, spider): self.file.close() # settings.py ITEM_PIPELINES = { "my_project.pipelines.BookPipeline": 300, } ```