在处理 Python 列表数据导入 MySQL 数据库时，可采用以下方法处理重复数据： ### 使用 `INSERT IGNORE` 语句 `INSERT IGNORE` 语句会忽略插入过程中产生的重复键错误，若插入的数据会导致主键或唯一键冲突，该数据将被忽略，不会插入到数据库中。 ```python import pymysql # 数据库连接配置 db = pymysql.connect( host="localhost", user="root", password="1111", database="school", port=3306, charset='utf8' ) # 创建游标 cursor = db.cursor() # 示例列表数据，每个元素为一个元组，代表数据库表中的一行 data_list = [ ('John', 25, 'Engineer'), ('Jane', 30, 'Doctor'), ('Bob', 22, 'Student') ] # 假设要插入数据的表名为 'employees'，有 'name', 'age', 'occupation' 三个字段 table_name = 'employees' columns = 'name, age, occupation' placeholders = ', '.join(['%s'] * len(data_list[0])) insert_query = f"INSERT IGNORE INTO {table_name} ({columns}) VALUES ({placeholders})" try: # 批量插入数据 cursor.executemany(insert_query, data_list) # 提交事务 db.commit() print("数据插入成功") except Exception as e: # 发生错误时回滚 db.rollback() print(f"数据插入失败: {e}") # 关闭游标和数据库连接 cursor.close() db.close() ``` ### 使用 `ON DUPLICATE KEY UPDATE` 语句 `ON DUPLICATE KEY UPDATE` 语句允许在插入数据时，若发生主键或唯一键冲突，执行更新操作而非忽略。 ```python import pymysql # 数据库连接配置 db = pymysql.connect( host="localhost", user="root", password="1111", database="school", port=3306, charset='utf8' ) # 创建游标 cursor = db.cursor() # 示例列表数据，每个元素为一个元组，代表数据库表中的一行 data_list = [ ('John', 25, 'Engineer'), ('Jane', 30, 'Doctor'), ('Bob', 22, 'Student') ] # 假设要插入数据的表名为 'employees'，有 'name', 'age', 'occupation' 三个字段 table_name = 'employees' columns = 'name, age, occupation' placeholders = ', '.join(['%s'] * len(data_list[0])) update_clause = ', '.join([f"{col}=VALUES({col})" for col in columns.split(', ')]) insert_query = f"INSERT INTO {table_name} ({columns}) VALUES ({placeholders}) ON DUPLICATE KEY UPDATE {update_clause}" try: # 批量插入数据 cursor.executemany(insert_query, data_list) # 提交事务 db.commit() print("数据插入或更新成功") except Exception as e: # 发生错误时回滚 db.rollback() print(f"数据插入或更新失败: {e}") # 关闭游标和数据库连接 cursor.close() db.close() ``` ### 提前去重 在将数据插入数据库之前，可使用 Python 的数据结构（如集合或字典）对列表进行去重操作。 ```python # 示例列表数据 data_list = [ ('John', 25, 'Engineer'), ('Jane', 30, 'Doctor'), ('John', 25, 'Engineer') ] # 去重 unique_data = list(set(data_list)) # 后续插入数据库的代码... ```