<think>我们之前讨论了Python操作MySQL数据库，现在用户想学习爬虫中Python操作数据库的知识。 爬虫通常涉及数据的抓取、解析和存储，而数据库操作是存储环节的关键。 因此，我将重点介绍在爬虫项目中如何将抓取到的数据存储到数据库中（以MySQL为例），并强调爬虫场景下的特殊注意事项。 注意：回答末尾必须按照要求提出3-5个相关问题。 回答结构： 1. 简要说明爬虫与数据库操作的关系 2. 给出一个爬虫存储数据到MySQL的完整示例（包括连接、创建表、插入数据等） 3. 强调注意事项（如异常处理、防止重复、性能优化等） 4. 最后提出相关问题 注意：使用中文，代码使用Python，并确保相关问题部分正确输出。 </think> 在Python爬虫项目中操作数据库是存储抓取数据的关键步骤。以下是爬虫结合数据库的完整实现流程及示例（以MySQL为例）： ### 爬虫数据库操作核心流程 1. **数据抓取**：使用requests/BeautifulSoup获取网页数据 2. **数据清洗**：处理提取到的数据（去重、格式化） 3. **数据库连接**：建立与MySQL的安全连接 4. **数据存储**：将清洗后的数据批量写入数据库 5. **异常处理**：应对网络中断、重复数据等问题 ### 完整示例代码 ```python import requests from bs4 import BeautifulSoup import mysql.connector from mysql.connector import Error def crawl_and_store(): try: # 1. 抓取网页数据 url = 'https://example.com/products' response = requests.get(url, timeout=10) soup = BeautifulSoup(response.text, 'html.parser') # 2. 提取并清洗数据 products = [] for item in soup.select('.product-item'): name = item.select_one('.name').text.strip() price = float(item.select_one('.price').text.replace('¥', '')) products.append((name, price)) # 元组格式 # 3. 连接MySQL数据库 conn = mysql.connector.connect( host="localhost", user="crawler_user", password="SecurePass123!", database="crawler_db", charset='utf8mb4' # 支持存储表情符号 ) cursor = conn.cursor() # 4. 创建表（如果不存在） cursor.execute(""" CREATE TABLE IF NOT EXISTS products ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL, price DECIMAL(10,2) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY unique_name (name) # 防止重复存储 ) ENGINE=InnoDB; """) # 5. 批量插入数据（使用事务） insert_query = "INSERT IGNORE INTO products (name, price) VALUES (%s, %s)" cursor.executemany(insert_query, products) # 批量操作 conn.commit() print(f"成功插入 {cursor.rowcount} 条数据") except Error as e: print(f"数据库错误: {e}") conn.rollback() # 回滚事务 except requests.exceptions.RequestException as e: print(f"网络请求失败: {e}") finally: # 确保关闭连接 if conn.is_connected(): cursor.close() conn.close() # 执行爬虫存储任务 crawl_and_store() ``` ### 爬虫数据库操作最佳实践 1. **连接池技术**：使用`DBUtils`库管理连接，避免频繁创建连接 2. **异常处理**： - 网络请求超时设置（`timeout=10`） - 数据库操作事务回滚（`rollback()`） 3. **防重复机制**： - 数据库唯一索引（`UNIQUE KEY`） - 使用`INSERT IGNORE`跳过重复记录 4. **性能优化**： - 批量操作`executemany()`代替单条插入 - 关闭自动提交（`autocommit=False`） 5. **安全防护**： - 使用参数化查询防止SQL注入 - 敏感信息（密码）通过环境变量读取