### 如何使用 Python 的 Pandas 库读取大文件并分批写入 MySQL 数据库 当处理大数据量的 Excel 或 CSV 文件时，一次性加载整个文件可能会占用大量内存资源。因此，采用分批次的方式读取和写入数据是一种更高效的做法。 以下是实现这一目标的具体方法： #### 1. **按批次读取大文件** `pandas` 提供了 `chunksize` 参数用于逐块读取大型文件。通过设置该参数，可以将文件分割为多个较小的部分逐一处理。 ```python import pandas as pd from sqlalchemy import create_engine # 定义数据库连接引擎 engine = create_engine("mysql+pymysql://root:password@localhost:3306/trust", encoding='utf-8') # 设置每次读取的数据大小（例如每批次1万行） chunk_size = 10000 # 创建一个空表（如果尚未存在），或者清空已有数据 initial_df = pd.read_excel('./my_large_file.xlsx', nrows=0) # 获取列名 initial_df.to_sql('large_table', con=engine, if_exists='replace', index=False) # 按批次读取Excel文件并写入数据库 for chunk in pd.read_excel('./my_large_file.xlsx', chunksize=chunk_size): chunk.to_sql('large_table', con=engine, if_exists='append', index=False) ``` 此代码片段中，`pd.read_excel()` 函数被配置为以指定大小 (`chunk_size`) 分割文件[^1]。每一部分都被单独转换为 DataFrame 并存储到数据库中。 #### 2. **优化性能** 为了提高效率，在实际应用中还可以考虑以下几点： - **禁用索引写入**：在调用 `to_sql()` 方法时，设置 `index=False` 来避免不必要的索引创建操作[^1]。 - **调整批量提交大小**：某些情况下可以通过修改 SQLAlchemy 的 `execution_options(isolation_level="AUTOCOMMIT")` 改善事务管理性能[^2]。 #### 3. **错误处理机制** 在大规模数据迁移过程中，难免会遇到异常情况。建议加入基本的日志记录功能以及重试逻辑以便更好地监控进度与排查问题。 ```python try: for i, chunk in enumerate(pd.read_csv('huge_data.csv', chunksize=chunk_size)): print(f"Processing batch {i}") chunk.to_sql(name='table_name', con=engine, if_exists='append', index=False) except Exception as e: print(e) finally: engine.dispose() ``` 以上脚本展示了如何捕获潜在错误，并且无论成功与否都会释放数据库链接资源[^2]。 --- ###