当需要使用 Python 向 MySQL 数据库大批量插入数据时，可以采用多种策略以提高效率。这里推荐几种常见的高效做法，并给出具体的实现示例： ### 1. 使用 `executemany()` 方法 MySQLdb 或 pymysql 等数据库驱动通常提供了一个名为 `executemany()` 的函数，它允许一次性执行多行插入命令，减少了网络往返次数。 #### 示例代码: ```python import mysql.connector data_to_insert = [ ('Alice', 'alice@example.com'), ('Bob', 'bob@example.com'), ... # 更多的数据元组... ] try: conn = mysql.connector.connect( host="localhost", user="root", # 用户名 password="password", # 密码 database="test_db" # 要连接的具体数据库名称 ) cursor = conn.cursor() sql = "INSERT INTO users (name, email) VALUES (%s, %s)" cursor.executemany(sql, data_to_insert) conn.commit() # 提交事务 except Exception as e: print("发生错误:", str(e)) finally: if(conn.is_connected()): cursor.close() conn.close() print(cursor.rowcount, "记录已插入.") ``` 这种方法适用于中小规模的数据集（比如几千条），但如果面对更大批量的数据，则建议考虑以下两种方法之一。 ### 2. 利用 LOAD DATA INFILE 命令加载 CSV 文件 对于非常大的数据集来说，直接构建 SQL 插入语句可能会导致性能瓶颈。此时可以把要导入的数据先保存成CSV文件，然后利用 MySQL 内置的支持快速从文本文件中读取并装载数据的功能——LOAD DATA INFILE 来提升速度。 注意：这种方式取决于服务器的安全设置，默认情况下可能是禁用了的。 #### 步骤概述: - 将数据导出为 CSV 格式的文件； - 构造包含完整路径及列映射关系在内的适当格式化字符串传递给 LOAD DATA INFILE; - 执行此SQL指令前确保有足够权限访问该外部文件系统资源以及目标表结构匹配源文件字段。 例如： ```sql LOAD DATA LOCAL INFILE '/path/to/file.csv' INTO TABLE my_table FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n'; ``` 这一步可以直接在Python中通过常规查询的方式发送过去。 ### 3. 分批提交 (`batch insert`) 如果担心单次插入过多数据会影响系统稳定性或占用太多内存，那么可以选择将整个集合拆分成若干个小批次逐步送入数据库内核处理。这种方案结合了前面两者的优势，在保证一定吞吐率的同时也能较好地控制瞬时压力峰值。 #### 实现思路: - 设定合适的 batch size 参数（如500 - 1000 行每批次）； - 对原始 list 进行循环切片形成子list序列； - 针对每个 slice 调用 executemany 或其它适合的形式进行实际入库动作。 总之，选择哪种方式应该基于具体的应用场景而定，包括但不限于现有基础设施条件限制、预期运行环境等因素影响最终决策。