在 Python 爬虫开发中，将爬取到的数据存储至数据库是一个关键步骤，它能够确保数据的持久化、可查询性以及后续的高效处理。存储数据到数据库的方法通常包括以下几个方面： ### 数据库选择 在实际开发中，需要根据数据的结构化程度、存储规模以及访问频率等因素选择合适的数据库。常见的数据库选择包括关系型数据库（如 MySQL、PostgreSQL）和非关系型数据库（如 MongoDB）。对于结构化数据，尤其是需要支持复杂查询的情况，MySQL 是一种常用选择 [^1]。 ### Python 连接 MySQL 数据库 Python 通过 `MySQLdb` 或 `pymysql` 等库可以实现与 MySQL 数据库的连接。例如，使用 `pymysql` 库连接数据库，并执行插入操作： ```python import pymysql # 建立数据库连接 db = pymysql.connect( host='localhost', user='root', password='111111', database='test', port=3306 ) # 创建游标对象 cursor = db.cursor() # 插入数据的 SQL 语句 sql = """INSERT INTO scores (id, name, points) VALUES (null, %s, %s)""" name = '王五' points = 68 # 执行 SQL 语句 cursor.execute(sql, (name, points)) # 提交事务 db.commit() # 关闭游标和数据库连接 cursor.close() db.close() ``` ### 在 Scrapy 框架中实现数据存储 对于使用 Scrapy 框架开发的爬虫项目，可以通过自定义 `pipelines.py` 文件来实现数据存入数据库的功能。例如，以下代码片段展示了如何在 `MysqlPipeline` 类中将爬取的数据插入到 MySQL 数据库中： ```python import MySQLdb class MysqlPipeline(object): def __init__(self): # 初始化数据库连接 self.conn = MySQLdb.connect( host="192.168.186.130", user="root", password="123456", database="article_spider", charset='utf8', use_unicode=True ) self.cursor = self.conn.cursor() def process_item(self, item, spider): # 定义插入语句 insert_sql = """ INSERT INTO MyArticle (title, url, tags, create_date, content) VALUES (%s, %s, %s, %s, %s) """ # 提取数据 parms = list() parms.append(item.get('title', "")) parms.append(item.get('url', "")) parms.append(item.get('tags', "")) parms.append(item.get('create_date', "1970-07-01")) content = "".join([str(x) for x in item.get('content', "")]) parms.append(content.lstrip()) # 执行插入操作 self.cursor.execute(insert_sql, tuple(parms)) self.conn.commit() return item ``` ### 数据存储的注意事项 - **数据清洗**：在插入数据库之前，应对数据进行清洗，例如去除空格、处理缺失值等。 - **异常处理**：数据库操作过程中可能会出现异常，如连接失败、SQL 语法错误等，因此需要加入异常处理逻辑。 - **性能优化**：当数据量较大时，建议使用批量插入（`executemany`）来提高效率，减少数据库交互次数 [^3]。 ###