### Python 中读取多个 PKL 文件并合并 为了处理多个 `.pkl` 文件，在Python中通常会使用 `pickle` 或者更高效的 `mmengine` 来加载这些文件。一旦所有目标`.pkl`文件被成功读取，就可以利用 `pandas` 的强大功能来执行数据框之间的连接或合并操作。 对于具体实现过程如下所示： #### 准备工作 确保安装了必要的库： ```bash pip install pandas mmengine ``` #### 加载单个PKL文件 先展示如何单独加载一个 `.pkl` 文件作为例子。 ```python import mmengine def load_single_pkl(file_path): """Load a single .pkl file.""" try: data = mmengine.load(file_path) return data except Exception as e: print(f"Error loading {file_path}: ", str(e)) return None ``` #### 批量读取多个PKL文件 创建一个函数用来遍历目录下的所有 `.pkl` 文件，并调用上述定义的方法逐个加载它们的内容。 ```python from pathlib import Path def read_multiple_pkls(directory_path): """Read multiple .pkl files from the specified directory and store them in a list""" pkl_files = sorted(Path(directory_path).glob('*.pkl')) all_data = [] for f in pkl_files: loaded_data = load_single_pkl(str(f)) if isinstance(loaded_data, dict): # 如果是字典，则将其转换为DataFrame以便后续处理 df = pd.DataFrame([loaded_data]) all_data.append(df) elif isinstance(loaded_data, (list, tuple)): dfs = [pd.DataFrame(item) for item in loaded_data] concatenated_df = pd.concat(dfs, ignore_index=True) all_data.append(concatenated_df) return all_data ``` #### 数据合并 当所有 `.pkl` 文件的数据都被存储在一个列表里之后，可以很方便地通过 `pandas.concat()` 将其合成为一个完整的 DataFrame 对象。 ```python import pandas as pd def merge_all_data(data_list): """Merge all DataFrames into one final DataFrame""" merged_result = pd.concat(data_list, axis=0, join='outer', ignore_index=True) return merged_result ``` 最后一步就是将这个最终的结果保存回一个新的 `.pkl` 文件或者其他格式如CSV等。 ```python output_file = 'merged_output.pkl' final_dataframe.to_pickle(output_file) print(f"Merged output saved to '{output_file}'") ``` 整个流程下来就完成了从批量读取到合并再到保存的操作[^1]。