在 Python 中快速读取多个文件的方法可以根据具体需求选择不同的实现方式。以下是一些常见的高效读取多个文件的策略。 ### 1. 使用 `glob` 获取文件列表并循环读取 如果文件数量较多，但每个文件的大小适中，可以使用 `glob` 模块获取文件列表，然后通过循环逐个读取文件内容。 ```python import glob # 获取指定目录下所有 .txt 文件 file_list = glob.glob('path/to/files/*.txt') # 逐个读取文件内容 for file in file_list: with open(file, 'r', encoding='utf-8') as f: content = f.read() # 处理文件内容 ``` ### 2. 使用 `concurrent.futures` 并行读取文件 如果文件数量较大，或者文件读取操作较为耗时，可以使用 `concurrent.futures` 模块实现并行读取，从而提高效率。`ThreadPoolExecutor` 是一种适合 I/O 密集型任务的并行方式。 ```python import concurrent.futures import glob def read_file(file): with open(file, 'r', encoding='utf-8') as f: return f.read() file_list = glob.glob('path/to/files/*.txt') with concurrent.futures.ThreadPoolExecutor() as executor: results = list(executor.map(read_file, file_list)) # results 是一个包含所有文件内容的列表 ``` ### 3. 使用 `pandas` 批量读取多个 CSV 或 Excel 文件 如果处理的是结构化数据（如 CSV 或 Excel 文件），可以使用 `pandas` 库批量读取多个文件，并将它们合并为一个 DataFrame。 ```python import pandas as pd import glob file_list = glob.glob('path/to/files/*.csv') # 读取并合并所有 CSV 文件 combined_df = pd.concat((pd.read_csv(file) for file in file_list), ignore_index=True) ``` 对于 Excel 文件，可以使用类似的方法： ```python file_list = glob.glob('path/to/files/*.xlsx') combined_df = pd.concat((pd.read_excel(file) for file in file_list), ignore_index=True) ``` ### 4. 使用生成器逐行读取多个文件 如果文件体积较大，逐行读取可以减少内存占用。可以使用 `itertools.chain` 或者直接通过生成器逐行读取多个文件。 ```python import itertools file_list = ['file1.txt', 'file2.txt', 'file3.txt'] # 逐行读取多个文件 for line in itertools.chain.from_iterable(open(file, 'r', encoding='utf-8') for file in file_list): print(line.strip()) ``` ### 5. 使用 `mmap` 读取大文件 对于非常大的文件，可以使用 `mmap` 模块进行内存映射读取，这种方式在处理大文件时效率较高。 ```python import mmap with open('large_file.txt', 'r', encoding='utf-8') as f: with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ) as mm: line = mm.readline() while line: print(line) line = mm.readline() ``` ### 6. 使用 `pathlib` 简化文件路径操作 `pathlib` 是 Python 3.4 引入的模块，可以更方便地处理文件路径和操作。 ```python from pathlib import Path path = Path('path/to/files') for file in path.glob('*.txt'): with file.open('r', encoding='utf-8') as f: content = f.read() # 处理文件内容 ``` 以上方法可以根据实际应用场景选择使用。对于 I/O 密集型任务，建议使用多线程或异步方式提高效率；对于结构化数据，`pandas` 提供了强大的批量处理能力；而对于大文件，则可以考虑逐行读取或内存映射方式[^4]。