### Python 大型 CSV 文件高效转换为 XLSX 方法 对于处理大型 CSV 文件并将其高效地转换为 XLSX 格式的任务，可以采用分批次读取和写入的方式。这种方法能够有效减少内存占用，并提高处理效率。 #### 使用 Pandas 和 Openpyxl 进行批量数据处理 为了优化性能，在每次迭代中只加载一部分数据到内存中，而不是一次性全部载入： ```python import pandas as pd from openpyxl import Workbook def batch_convert_csv_to_xlsx(csv_file_path, xlsx_file_path, chunk_size=10000): # 创建一个新的 Excel 工作簿对象 wb = Workbook() ws = wb.active reader = pd.read_csv(csv_file_path, iterator=True) try: while True: # 每次读取固定数量的数据行 df_chunk = reader.get_chunk(chunk_size) # 如果工作表为空，则先设置列名 if ws.max_row == 1 and not any(ws.iter_rows()): columns = list(df_chunk.columns) ws.append(columns) for row in df_chunk.itertuples(index=False, name=None): ws.append(row) except StopIteration: pass finally: # 关闭文件流前保存更改 wb.save(xlsx_file_path) batch_convert_csv_to_xlsx('D:\\desktop\\large_output.csv', 'D:\\desktop\\large_output.xlsx') print(f"Large Data has been successfully exported to D:\\desktop\\large_output.xlsx") ``` 此脚本通过 `iterator` 参数创建了一个可迭代的对象来逐块读取 CSV 数据[^1]。每当调用 `get_chunk()` 函数时，它会返回指定大小的一组记录作为 DataFrame 对象。这样可以在不消耗过多资源的情况下完成整个文件的转换过程。 此外，还可以考虑调整 `chunksize` 的值以适应具体的硬件条件；较小的机器可能需要更小的批处理尺寸以免耗尽 RAM 资源。