### Python 中实现多线程向数据库插入数据的方法 为了提高效率并充分利用计算机资源，在处理大量数据时可以采用多线程技术来加速数据写入过程。通过创建多个工作线程，每个线程负责一部分数据的插入操作，从而显著提升性能。 #### 使用 `PooledDB` 创建连接池 为了避免频繁建立和关闭数据库连接带来的开销，通常会使用连接池机制。这里选用 DBUtils 库中的 PooledDB 来管理 MySQL 连接： ```python from queue import Queue from DBUtils.PooledDB import PooledDB import pymysql pool = PooledDB( creator=pymysql, maxconnections=6, # 最大连接数 mincached=2, # 初始化时至少创建的空闲连接数量 blocking=True # 当连接耗尽时是否等待(True), 若为False则抛出异常 ) ``` #### 定义任务类封装插入逻辑 定义一个名为 `ThreadInsert` 的类用于执行具体的插入动作，并将其实例化为各个独立的工作单元： ```python class ThreadInsert(object): """多线程并发MySQL插入数据""" def __init__(self, pool, data_queue): self.pool = pool self.data_queue = data_queue def run(self): while True: try: item = self.data_queue.get_nowait() conn = self.pool.connection() # 获取连接对象 cursor = conn.cursor() sql = "INSERT INTO table_name (column1, column2) VALUES (%s,%s)" val = (item['value1'], item['value2']) cursor.execute(sql,val) conn.commit() cursor.close() conn.close() self.data_queue.task_done() except Exception as e: print(f"Error occurred during insertion: {e}") break ``` #### 启动多线程进行批量插入 最后一步是在主线程中启动若干子线程来进行实际的数据插入作业。这可以通过简单的循环完成，每一轮迭代都会从队列取出一条记录交给某个可用的工作线程去处理： ```python if __name__ == '__main__': threads_num = 4 # 设置线程数目 work_queue = Queue(maxsize=0) items_to_insert = [...] # 待插入的数据列表 for i in range(threads_num): worker = ThreadInsert(pool, work_queue) thread = threading.Thread(target=worker.run) thread.daemon = True thread.start() for item in items_to_insert: work_queue.put(item) work_queue.join() # 阻塞直到所有任务完成 ``` 上述代码展示了如何利用 Python 结合多线程技术高效地将文件内的数据批量写入到数据库中[^1]。