### Python 实现 SQL 查询的分批处理 为了实现 SQL 查询的分批处理并避免错误，可以采用以下方法： #### 数据库连接与游标的设置 在 Python 中，`mysql-connector-python` 或 `pymysql` 是常用的数据库操作模块。通过设置事务管理机制和捕获异常来确保数据的一致性和稳定性。 ```python import mysql.connector from mysql.connector import Error def create_connection(host_name, user_name, user_password, db_name): connection = None try: connection = mysql.connector.connect( host=host_name, user=user_name, passwd=user_password, database=db_name ) print("Connection to MySQL DB successful") except Error as e: print(f"The error '{e}' occurred") return connection ``` #### 批量插入或更新数据 对于大数据集的操作，可以通过批量提交减少网络开销和提高性能。以下是使用 `executemany()` 方法的一个例子[^1]： ```python def execute_batch_query(connection, query, data_list): cursor = connection.cursor() try: cursor.executemany(query, data_list) connection.commit() # 提交更改到数据库 print("Query executed successfully") except Error as e: print(f"The error '{e}' occurred during batch execution.") connection.rollback() # 如果发生错误，则回滚事务 ``` #### 使用循环进行分批处理 当数据量较大时，可将数据分成若干批次逐一处理。这样不仅可以降低内存占用，还能有效防止因单次操作过大而导致的失败。 ```python BATCH_SIZE = 1000 # 设置每批次大小 def process_in_batches(data_list, batch_size=BATCH_SIZE): total_records = len(data_list) for i in range(0, total_records, batch_size): yield data_list[i:i + batch_size] data_to_process = [...] # 假设这是待处理的数据列表 for batch_data in process_in_batches(data_to_process): execute_batch_query(connection, "INSERT INTO table_name VALUES (%s)", batch_data) ``` #### 错误处理策略 为了避免程序崩溃，应加入详细的错误捕捉逻辑。例如，在遇到重复键或其他常见问题时采取适当措施而不是终止整个进程[^3]。 ```python try: with connection.cursor() as cursor: sql = "DELETE FROM T_NF_DT_FWMX WHERE phmxxh=%s" cursor.execute(sql, ('some_id',)) except Exception as ex: template = "An exception of type {0} occurred. Arguments:\n{1!r}" message = template.format(type(ex).__name__, ex.args) print(message) finally: connection.close() ``` 以上代码片段展示了如何安全地执行删除语句，并且即使出现某些类型的错误也不会影响其他记录的正常处理流程[^4]。 --- ###