### 使用 Python 爬虫将数据保存到数据库的详细步骤 以下是通过 Python 将爬取的数据存储至 MySQL 数据库的具体实现方法： #### 1. **环境准备** 为了能够顺利运行程序并连接数据库，需安装必要的依赖包 `pymysql` 或者 `mysql-connector-python`。可以通过 pip 安装这些模块： ```bash pip install pymysql mysql-connector-python ``` 此外，在本地环境中配置好 MySQL 数据库服务，并确保其正常启动。 #### 2. **建立数据库连接** 利用 `pymysql.connect()` 方法完成与目标数据库之间的通信初始化工作。此函数接收多个参数用于指定主机地址、用户名、密码以及所要操作的目标数据库名称等信息[^4]。 ```python import pymysql # 创建数据库连接实例 db = pymysql.connect( host='localhost', user='root', password='your_password_here', database='test_db', port=3306, charset='utf8mb4' ) # 获取游标对象以便后续执行 SQL 查询语句 cursor = db.cursor() ``` #### 3. **创建表格结构** 在正式写入任何记录之前，先定义好相应的表单架构以容纳即将导入的信息条目。这里展示的是一个简单的文章模型例子[^3]: ```sql CREATE TABLE IF NOT EXISTS articles ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), url TEXT, tags JSON DEFAULT NULL, create_date DATE, content LONGTEXT ); ``` 可以借助如下方式动态构建上述 DDL 命令并通过接口提交给服务器端加以实施: ```python table_creation_query = """ CREATE TABLE IF NOT EXISTS articles ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), url TEXT, tags JSON DEFAULT NULL, create_date DATE, content LONGTEXT ); """ try: cursor.execute(table_creation_query) except Exception as e: print(f"Error creating table: {e}") ``` #### 4. **编写插入逻辑** 当获取到了网页上的具体内容之后，则可按照既定格式整理成适配字段类型的元组形式传递进去作为占位符的实际值填充源[^3]。下面给出了一段示范代码片段说明如何逐条添加新纪录进入预先设定好的集合当中去: ```python def save_to_database(items): insert_sql = """ INSERT INTO articles (title, url, tags, create_date, content) VALUES (%s, %s, %s, %s, %s) """ for item in items: try: params = [ item['title'], item['url'], str(item.get('tags')), item.get('create_date'), ''.join(map(str, item.get('content'))) ] cursor.execute(insert_sql, tuple(params)) db.commit() except KeyError as ke: print(f'Missing key error while saving an article: {ke}') except Exception as ex: print(f'Failed to add record due to exception: {ex}') sample_items = [{ 'title': 'Sample Title One', 'url': 'http://example.com/sample-one', 'tags': ['tagA', 'tagB'], 'create_date': '2023-01-01', 'content': ['This is the first paragraph.', 'And this is another one.'] }] save_to_database(sample_items) ``` #### 5. **结束会话清理资源** 无论成功与否都应该记得释放占用中的链接通道以免造成不必要的浪费或者潜在的安全隐患问题存在[^4]. 关闭游标的调用顺序应该放在事务确认提交之后进行. ```python finally: if cursor: cursor.close() if db and db.open: db.close() ``` 以上就是完整的流程概述及其对应的关键技术要点解析[^1][^2]. ---