### 使用Python脚本批量导入XLSX文件至MySQL的最佳实践 #### 准备工作 为了实现这一目标，需安装必要的库来操作Excel文件和连接MySQL数据库。通常使用的库包括`pandas`用于数据处理以及`mysql-connector-python`或`SQLAlchemy`作为数据库接口。 ```bash pip install pandas mysql-connector-python sqlalchemy openpyxl ``` #### 数据读取与预处理 通过Pandas加载Excel文档并转换成DataFrame对象以便后续操作。对于大批量的数据集建议分批次读入以减少内存占用。 ```python import pandas as pd def read_excel(file_path, sheet_name=0): """Read Excel file into DataFrame.""" df = pd.read_excel(io=file_path, sheet_name=sheet_name) return df ``` #### 创建表结构 基于Excel的第一行定义自动构建对应的MySQL表模式。这一步骤确保了即使源文件发生变化也能灵活适应新的列名[^1]。 ```sql CREATE TABLE IF NOT EXISTS my_table ( id INT AUTO_INCREMENT PRIMARY KEY, -- 动态生成其他字段... ); ``` #### 插入记录 采用事务机制提高效率的同时保证数据一致性。当遇到异常情况时能够回滚未完成的操作防止残留脏数据。 ```python from sqlalchemy import create_engine import pymysql engine = create_engine('mysql+pymysql://username:password@host/dbname') def insert_data(df, table_name='my_table'): try: with engine.connect() as connection: trans = connection.begin() # Insert data frame to MySQL using bulk operation. df.to_sql(name=table_name, con=connection, index=False, if_exists='append') trans.commit() except Exception as e: print(f"An error occurred while inserting records: {e}") trans.rollback() ``` #### 批量化执行流程 针对多个Excel文件设计循环逻辑逐一调用上述函数完成整个过程。考虑到实际应用中的复杂度可能还需要加入日志记录等功能辅助排查问题所在。 ```python import os def batch_import(directory_path='./excels', target_table='my_table'): files = [f for f in os.listdir(directory_path) if f.endswith('.xlsx')] for filename in files: filepath = os.path.join(directory_path, filename) # Read each excel file and process it individually. dataframe = read_excel(filepath) # Automatically generate SQL schema based on the first row of headers from Excel. columns = ', '.join([f"`{col}` VARCHAR(255)" for col in dataframe.columns]) sql_create_statement = f""" CREATE TABLE IF NOT EXISTS `{target_table}` ( `id` INT NOT NULL AUTO_INCREMENT, {columns}, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; """ execute_query(sql_create_statement) # Perform insertion after ensuring that tables are ready. insert_data(dataframe, target_table) ``` 以上即为使用Python脚本批量将`.xlsx`格式的电子表格内容迁移到关系型数据库MySQL内的推荐做法及其核心代码片段示例[^2]。