### 准备工作 在开始将 JSON 格式的股票数据存储到 MySQL 数据库之前，需要确保已经安装了必要的库，如 `mysql-connector-python` 或 `pymysql`，以及 `json` 模块。这些库可以帮助处理数据库连接和 JSON 数据的解析与生成。 ### 数据库连接配置 首先，需要建立与 MySQL 数据库的连接。这通常涉及提供数据库的主机名、用户名、密码、数据库名称以及字符集等信息。例如： ```python import mysql.connector db_config = { 'host': 'localhost', 'user': 'your_username', 'password': 'your_password', 'database': 'your_database', 'charset': 'utf8mb4' } conn = mysql.connector.connect(**db_config) cursor = conn.cursor() ``` ### 创建数据表 在将数据存入数据库之前，需要确保目标表已经存在。如果表不存在，可以通过以下 SQL 语句创建： ```sql CREATE TABLE IF NOT EXISTS stock_data ( id INT AUTO_INCREMENT PRIMARY KEY, symbol VARCHAR(10), price DECIMAL(10, 2), volume INT, timestamp DATETIME ); ``` ### 数据预处理 获取的 JSON 数据可能需要进行一定的预处理，以确保其符合数据库表结构的要求。这包括解析 JSON 数据、转换数据类型以及处理可能存在的缺失值或异常值。 ```python import json # 假设从网络请求中获取到的 JSON 数据如下 json_data = ''' [ {"symbol": "AAPL", "price": 150.25, "volume": 10000, "timestamp": "2023-08-20 10:25:31"}, {"symbol": "GOOG", "price": 2700.50, "volume": 5000, "timestamp": "2023-08-20 10:25:31"} ] ''' data = json.loads(json_data) ``` ### 批量插入数据 为了提高插入效率，可以使用 `executemany()` 方法批量插入数据[^3]。这种方法相比于单条插入，可以显著减少插入时间。 ```python insert_query = """ INSERT INTO stock_data (symbol, price, volume, timestamp) VALUES (%s, %s, %s, %s) """ values = [(item['symbol'], item['price'], item['volume'], item['timestamp']) for item in data] try: cursor.executemany(insert_query, values) conn.commit() except mysql.connector.Error as err: print(f"Error: {err}") conn.rollback() finally: cursor.close() conn.close() ``` ### 错误处理机制 在执行插入操作时，应该加入错误处理机制，以便在发生错误时能够捕获异常并回滚事务，确保数据的一致性和完整性[^3]。 ### 数据验证 插入数据后，可以通过查询数据库来验证数据是否正确存储。 ```python cursor.execute("SELECT * FROM stock_data") rows = cursor.fetchall() for row in rows: print(row) ``` ### 常见问题解决 - **中文乱码问题**：可以在连接数据库时设置字符集为 `utf8mb4`。 - **数据类型转换**：确保 JSON 数据中的数字和布尔值正确转换为 MySQL 中的 `INT`/`DECIMAL` 和 `TINYINT(1)` 类型。 - **连接超时处理**：可以通过设置连接池大小和超时时间来避免连接超时问题。 ### 扩展应用 - **动态表结构生成**：根据不同的 JSON 数据结构动态生成对应的数据库表。 - **实时 JSON 流处理**：结合 APIs 集成实现自动化数据管道，实时处理和存储 JSON 数据流。