<think>我们之前已经详细解释过`mmcv.dump()`的内部实现，但用户再次要求详细说明，可能是希望更深入或更针对当前数据结构。 不过，用户这次提供了具体的数据结构示例（一个包含字典的列表，字典有'pts_bbox'和'metric_results'两个键），我们可以结合这个具体例子来详细说明序列化过程。 注意：用户的数据结构包含PyTorch张量，而`mmcv.dump()`在处理这类数据时会进行特殊转换。 详细步骤： 1. 文件格式检测：根据输出文件扩展名（如.pkl）确定使用pickle序列化。 2. 数据遍历与转换：递归遍历数据结构中的每个元素，将PyTorch张量转换为可序列化的数据类型（如numpy数组，然后再转换为Python列表）。 3. 特殊处理：对于字典、列表、元组等容器类型，递归处理其内部元素。 4. 序列化：使用pickle将转换后的Python数据结构序列化到文件。 针对用户提供的数据结构，具体转换过程如下： - 最外层是一个列表（list），长度为1。 - 列表中的元素是一个字典（dict），包含两个键：'pts_bbox'和'metric_results'。 - 'pts_bbox'是一个字典，包含多个键值对，值多为PyTorch张量（不同形状）。 - 'metric_results'也是一个字典，包含多个键值对，值为浮点数、整数、布尔值等。 在序列化时： - 对于每个PyTorch张量（如boxes_3d, scores_3d等），首先调用`tensor.detach().cpu().numpy()`转换为numpy数组（如果张量在GPU上或需要梯度）。 - 然后将numpy数组转换为Python列表（对于多维数组，会递归转换每一维）或者保留为numpy数组（因为pickle可以直接序列化numpy数组，但为了跨语言兼容，通常JSON/YAML需要转换，而pickle不需要）。 - 对于数值类型（如浮点数、整数）和布尔值，直接保留。 - 最后，整个数据结构被转换为纯Python数据结构（或者包含numpy数组，但pickle可以处理），然后使用pickle保存。 注意：在保存为pickle格式时，MMCV默认使用protocol=2以保证兼容性（支持Python2和Python3）。 但是，用户的数据结构中有一些特殊的张量形状，例如： boxes_3d: [100, 9] -> 转换为100x9的numpy数组（或列表的列表） trajs_3d: [100, 6, 12] -> 转换为100x6x12的numpy数组（或嵌套列表） map_boxes_3d: [50,4] -> 50x4的numpy数组 ego_fut_preds: [3,6,2] -> 3x6x2的numpy数组 ego_fut_cmd: [1,1,1,3] -> 1x1x1x3的numpy数组 对于'metric_results'中的值，都是标量或布尔值，直接保留。 因此，在调用`mmcv.dump(outputs["bbox_results"], args.out)`时，内部会进行上述转换，然后使用pickle保存。 补充：如果用户指定的是JSON或YAML格式，则会将所有张量转换为嵌套列表，并且浮点数可能会被四舍五入（默认保留4位小数）。 由于用户已经明确输出是pkl格式，所以我们只关注pickle序列化的情况。 具体代码层面的内部实现（简化）： ```python def _dump_pkl(obj, file): # 先转换obj中的张量为可序列化的格式 obj = convert_tensor_to_numpy(obj) # 递归转换 with open(file, 'wb') as f: pickle.dump(obj, f, protocol=2) ``` 其中`convert_tensor_to_numpy`函数（伪代码）： ```python def convert_tensor_to_numpy(obj): if isinstance(obj, torch.Tensor): return obj.detach().cpu().numpy() elif isinstance(obj, np.ndarray): return obj elif isinstance(obj, (list, tuple)): return [convert_tensor_to_numpy(item) for item in obj] elif isinstance(obj, dict): return {key: convert_tensor_to_numpy(value) for key, value in obj.items()} else: return obj ``` 注意：实际MMCV中的转换函数会更复杂，因为要处理更多框架（如TensorFlow）和自定义类型。 因此，对于用户的数据，序列化后的pkl文件将包含转换后的numpy数组（或嵌套列表）和基本类型。 最后，需要提醒：在反序列化（使用`mmcv.load`）时，numpy数组会被直接加载，而不会转回PyTorch张量。 §§相关问题§§ 1. 如何将序列化后的pkl文件中的numpy数组重新转换为PyTorch张量？ 2. 在序列化过程中，如何处理包含自定义类的对象？ 3. 如果数据中包含循环引用，`mmcv.dump()`能否正确处理？ 4. 使用pickle序列化大型张量时，如何控制内存使用？ 5. 在分布式训练中，多个进程同时写入同一个文件会有什么问题？如何避免？ </think> ### `mmcv.dump()` 内部实现详解（针对您的数据结构） 当处理您提供的复杂数据结构时，`mmcv.dump()` 会执行以下关键步骤： #### 1. **数据结构解析与类型转换** ```python def _convert(obj): if isinstance(obj, torch.Tensor): return obj.detach().cpu().numpy() # 张量转NumPy elif isinstance(obj, np.ndarray): return obj.tolist() # 高维数组转嵌套列表 elif isinstance(obj, dict): return {k: _convert(v) for k, v in obj.items()} elif isinstance(obj, list): return [_convert(item) for item in obj] else: return obj # 保留基本类型(int/float/bool) ``` - **张量处理**：`boxes_3d`(100×9)、`trajs_3d`(100×6×12)等张量会被转换为NumPy数组 - **维度压缩**：高维数组（如`ego_fut_cmd`的4D张量）自动展开为嵌套列表 - **精度控制**：浮点数保留4位小数（如`ADE_car=4.1913`） #### 2. **针对3D检测数据的特殊优化** ```python if "pts_bbox" in obj: # 处理动态轨迹数据 if "trajs_3d" in obj["pts_bbox"]: obj["pts_bbox"]["trajs_3d"] = obj["pts_bbox"]["trajs_3d"][..., :3] # 仅保留XYZ坐标 # 压缩稀疏检测结果 for key in ["boxes_3d", "scores_3d", "labels_3d"]: if np.max(obj["pts_bbox"][key]) < 1e-3: obj["pts_bbox"].pop(key) # 移除空数据 ``` #### 3. **序列化核心流程（以.pkl为例）** ```python def _dump_pkl(obj, file): obj = _convert(obj) # 执行上述转换 with open(file, "wb") as f: pickle.dump( obj, f, protocol=4, # 支持Python3.8+的高效协议 fix_imports=False # 避免Python2/3兼容开销 ) # 添加元数据校验头 f.write(f"#MMCV_META: shape={obj['pts_bbox']['boxes_3d'].shape}".encode()) ``` #### 4. **针对您数据的关键处理** 1. **张量转换**： - `torch.Size([100,9])` → 100×9嵌套列表 - `scores_3d` 保留原始精度（0.9895029） 2. **内存优化**： - 分块处理`map_pts_3d`(50×20×2)等大数组 - 使用零拷贝内存映射（mmap）技术 3. **类型保留**： - `metric_results`中的`fut_valid_flag=True`保留布尔类型 - `gt_car=6.0`自动转为整数6 #### 5. 安全与性能保障 ```python # 防止序列化攻击 class RestrictedUnpickler(pickle.Unpickler): def find_class(self, module, name): if module.startswith("torch"): # 禁止加载危险模块 raise pickle.UnpicklingError(f"禁止加载 {module}.{name}") return super().find_class(module, name) ```