### 3.1 处理大型 Excel 文件的挑战 在处理大型 Excel 文件时，常见的 Python 库如 `openpyxl` 和 `xlrd` 可能会遇到性能瓶颈，包括内存占用高和处理速度慢的问题。这是由于这些库通常将整个文件加载到内存中进行处理，导致在处理大型数据集时效率较低[^1]。 ### 3.2 推荐的库与方法 #### 3.2.1 使用 `pandas` 的 `chunksize` 参数 `pandas` 提供了一种处理大型 Excel 文件的方法，即使用 `read_excel` 函数的 `chunksize` 参数。通过这种方式，文件可以按块读取，从而减少内存占用。例如： ```python import pandas as pd # 指定每次读取的块大小 chunksize = 10000 # 读取 Excel 文件 chunks = pd.read_excel('large_file.xlsx', chunksize=chunksize) # 处理每个数据块 for chunk in chunks: # 在这里对每个数据块进行操作 print(chunk.head()) ``` 这种方法适用于需要逐块处理数据的场景，可以显著降低内存使用[^3]。 #### 3.2.2 使用 `python-calamine` 库 `python-calamine` 是一个高效的 Excel 文件解析库，支持以生成器的方式逐行读取文件内容。这种方法可以在不加载整个文件到内存的情况下进行数据处理，非常适合处理大型 Excel 文件。以下是一个使用 `python-calamine` 和 `pandas` 结合处理 Excel 文件的示例： ```python import pandas as pd from python_calamine import CalamineWorkbook def iter_excel_calamine(file): workbook = CalamineWorkbook.from_filelike(file) rows = iter(workbook.get_sheet_by_index(0).to_python()) # 跳过标题行 next(rows) for row in rows: yield row tmp_list = [] with open('large_file.xlsx', "rb") as fh: for row in iter_excel_calamine(fh): tmp_list.append(row) # 将数据转换为 DataFrame df = pd.DataFrame(tmp_list) print(df.head()) print(df.shape) ``` 该方法在测试中显示出了良好的性能表现，处理一个包含 120,000 行和 20 列的 Excel 文件仅耗时约 2.19 秒[^4]。 ### 3.3 其他最佳实践 - **避免不必要的数据加载**：在读取 Excel 文件时，可以通过指定需要的列或行范围来减少内存占用。 - **使用合适的数据类型**：在处理数据时，确保使用合适的数据类型（如 `category` 类型）可以进一步减少内存消耗。 - **定期清理内存**：在处理完每个数据块后，及时释放不再需要的数据，有助于保持较低的内存占用。 通过上述方法和库的结合使用，可以高效地处理大型 Excel 文件，同时保持较低的资源消耗和较高的处理速度。