### 使用 Scrapy 框架爬取数学考研真题并将数据存储到数据库 Scrapy 是一个功能强大且灵活的 Python 爬虫框架，适合用于从网页中提取结构化数据。为了实现将数学考研真题爬取下来并保存至数据库的目标，可以从以下几个部分入手：定义 Spider、设置 Item Pipeline 以及连接数据库。 #### 1. **创建 Scrapy 项目** 首先需要初始化一个新的 Scrapy 项目： ```bash scrapy startproject math_exam_spider cd math_exam_spider ``` 这将在当前目录下生成一个名为 `math_exam_spider` 的文件夹，其中包含了 Scrapy 所需的基础架构[^2]。 #### 2. **编写 Spider 文件** 在 `spiders` 子目录下新建一个 spider 脚本，例如命名为 `exam_spider.py`。此脚本负责访问目标网站并提取所需的考试题目信息。 假设我们要爬取某个提供历年数学考研试题的在线平台，下面展示了一个基本的例子： ```python import scrapy class ExamSpider(scrapy.Spider): name = "exam" allowed_domains = ["example.com"] # 替换为目标网站域名 start_urls = [ 'https://example.com/math-exam/2023', # 初始URL列表 ] def parse(self, response): for question in response.css('div.question'): # 假设每个问题都包裹在一个 div 中 yield { 'title': question.css('h3::text').get(), # 题目标题 'content': question.css('p.content::text').get(), # 题干内容 'options': question.css('ul.options li::text').getall(), # 选项 'answer': question.css('span.answer::text').get() # 正确答案 } next_page = response.css('a.next-page::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 这段代码实现了对单页或多页上的所有考题进行遍历，并返回字典形式的数据项给后续处理阶段使用[^4]。 #### 3. **配置 Items 和 Pipelines** 为了让爬取的信息能够进一步加工后再存入数据库，通常还需要定义 item 类型表示每条记录的具体属性，同时通过 pipeline 功能完成持久化的操作。 ##### （1）Item 定义 编辑位于 `items.py` 的类定义如下所示： ```python import scrapy class MathExamItem(scrapy.Item): title = scrapy.Field() content = scrapy.Field() options = scrapy.Field() answer = scrapy.Field() ``` 这里声明了一个新的 item 种类——MathExamItem ，它具有四个字段分别对应上面提到过的各个组成部分[^5]。 ##### （2）Pipeline 设置 接着修改 settings.py 添加以下两行启用 pipelines： ```python ITEM_PIPELINES = {'math_exam_spider.pipelines.MathExamPipeline': 300} ``` 然后新增 pipelines.py 文件实现具体的入库逻辑。此处以 SQLite 数据库为例演示如何写入这些对象： ```python import sqlite3 class MathExamPipeline(object): def __init__(self): self.create_connection() def create_connection(self): self.conn = sqlite3.connect("exams.db") # 创建或打开数据库文件 self.cursor = self.conn.cursor() self.create_table() def create_table(self): self.cursor.execute("""DROP TABLE IF EXISTS exams""") self.cursor.execute(""" CREATE TABLE exams( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, content TEXT, options TEXT, answer TEXT ) """) def process_item(self, item, spider): self.store_db(item) return item def store_db(self, item): self.cursor.execute(""" INSERT INTO exams (title,content,options,answer) VALUES(?,?,?,?) """, ( item['title'], item['content'], ','.join(item['options']), item['answer'] )) self.conn.commit() ``` 以上片段展示了怎样建立与本地 SQLite 数据源之间的联系，并把来自上游传递过来的对象逐一录入表 records 当中去[^6]。 最后记得调整 setting 参数中的 FEED_EXPORT_ENCODING='utf8' 来确保中文字符不会乱码。 ---