### 使用 ONNX Runtime 加载并运行自定义训练模型的最简代码示例 以下是一个完整的 Python 代码示例，展示如何使用 `onnxruntime` 加载一个自定义训练的 ONNX 模型，并执行推理预测。 #### 导入必要库 首先需要导入 `onnxruntime` 和 NumPy 库用于处理输入数据和加载模型。 ```python import onnxruntime as ort import numpy as np ``` --- #### 初始化会话 通过指定路径加载 ONNX 模型文件。ONNX Runtime 提供了多种执行提供者（Execution Providers），可以选择 CPU 或 GPU 进行计算[^1]。 ```python # 替换为实际的 ONNX 模型路径 model_path = 'path/to/your/model.onnx' # 创建 inference session 并选择执行设备 session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider']) ``` 此处的 `providers=['CPUExecutionProvider']` 表明我们将在 CPU 上运行模型。如果有支持的 GPU 环境，也可以改为 `'CUDAExecutionProvider'` 来利用 GPU 性能[^2]。 --- #### 准备输入数据 大多数机器学习模型期望输入张量具有固定的形状和数据类型。假设模型接受的是 `(batch_size, height, width, channels)` 形式的图像数据，则可以构建如下测试输入： ```python # 假设模型输入尺寸为 (1, 3, 224, 224)，即 batch size=1, RGB 图像大小为 224x224 input_name = session.get_inputs()[0].name # 获取第一个输入节点名称 dummy_input = np.random.randn(1, 3, 224, 224).astype(np.float32) # 构造随机输入 ``` 注意：需确保输入数据的数据类型 (`np.float32`) 和维度与模型的要求完全匹配[^1]。 --- #### 执行推理 调用 `run()` 方法传入准备好的输入数据，获取模型输出结果。 ```python output_name = session.get_outputs()[0].name # 获取第一个输出节点名称 result = session.run([output_name], {input_name: dummy_input}) ``` 这里的 `[output_name]` 是目标输出层的名字列表，而 `{input_name: dummy_input}` 则是以字典形式传递给模型的具体输入数据[^2]。 --- #### 处理输出 最后打印或进一步处理返回的结果数组。 ```python print(result) ``` 完整代码如下所示： ```python import onnxruntime as ort import numpy as np # 替换为实际的 ONNX 模型路径 model_path = 'path/to/your/model.onnx' session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider']) # 获取输入和输出节点名 input_name = session.get_inputs()[0].name output_name = session.get_outputs()[0].name # 构建随机输入数据 dummy_input = np.random.randn(1, 3, 224, 224).astype(np.float32) # 执行推理 result = session.run([output_name], {input_name: dummy_input}) # 输出结果 print(result) ``` --- ### 注意事项 - 若模型包含自定义算子，在 C++ 版本中可能需要额外编译动态链接库以注册这些算子。 - 输入数据应严格遵循原始模型的设计规格，否则可能导致错误或不合理的预测结果。 ---