### 使用C++和ONNX Runtime部署YOLOv5的最佳实践 #### 准备工作 为了使用 C++ 和 ONNX Runtime 部署 YOLOv5 模型，需先完成环境配置。这包括安装必要的依赖库以及准备模型文件。 - 安装 CUDA 及 cuDNN 库以支持 GPU 加速[^1]。 - 下载并编译 ONNX Runtime 的源码或直接下载预构建版本。 - 获取已训练好的 YOLOv5 模型，并将其转换为 ONNX 格式。 ```bash git clone --recursive https://github.com/microsoft/onnxruntime.git cd onnxruntime ./build.sh --config Release --use_cuda --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda \ --build_wheel --parallel --skip_tests ``` #### 创建项目结构 创建一个新的 CMake 项目来集成 ONNX Runtime SDK 并编写加载和推理逻辑的代码。 ```cpp // main.cpp #include "onnxruntime_cxx_api.h" #include <iostream> #include <opencv2/opencv.hpp> int main() { Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; // 设置线程数和其他选项... } ``` #### 初始化会话 初始化 `Ort::Env` 对象用于管理全局资源；设置 `Ort::SessionOptions` 参数控制运行时行为，比如启用多线程执行器等特性。 ```cpp session_options.SetIntraOpNumThreads(4); session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_EXTENDED); std::vector<const char*> model_paths{"yolov5s.onnx"}; Ort::Session session(env, model_paths.data(), session_options); ``` #### 数据前处理 读取输入图片数据到内存中，调整大小至网络预期尺寸 (通常是640x640)，再归一化像素值范围以便于后续计算操作。 ```cpp cv::Mat img = cv::imread("input.jpg"); cv::resize(img, img, cv::Size(640, 640)); img.convertTo(img, CV_32F, 1.0f / 255.0f); // 归一化到 [0..1] auto input_tensor_dims = std::vector<int64_t>{1, 3, 640, 640}; float* p_input_data = new float[input_tensor_dims[0]*input_tensor_dims[1]*input_tensor_dims[2]*input_tensor_dims[3]]; memcpy(p_input_data, img.ptr<float>(), sizeof(float)*input_tensor_dims[0]*input_tensor_dims[1]*input_tensor_dims[2]*input_tensor_dims[3]); ``` #### 执行推理过程 定义好输入张量之后就可以调用 Run 方法来进行实际预测了，在此之前还需要指定输出节点名称列表作为参数传递给函数。 ```cpp std::array<const char*, 1> output_names{ "output" }; std::vector<OrtValue> ort_inputs{ Ort::CreateTensorWithDataAsOrtValue( memory_info, reinterpret_cast<void*>(p_input_data), element_count * sizeof(T), tensor_shape.data(), dims.size()) }; auto result = session.Run(RunOptions{}, nullptr, &ort_inputs.front().GetTensorTypeAndShapeInfo().GetDimensions()[0], ort_inputs.size(), output_names.data(), output_names.size()); ``` #### 后处理结果解析 获取到的结果通常是一个四维数组形式存储着边界框坐标、类别置信度分数等内容，因此需要进一步解码才能得到最终的人类可读信息。 ```cpp for(auto& item : detections){ auto bbox = item.bbox; printf("Detected %s at (%d,%d)-(%d,%d)\n", class_labels[item.class_id].c_str(), static_cast<int>(bbox.xmin),static_cast<int>(bbox.ymin), static_cast<int>(bbox.xmax),static_cast<int>(bbox.ymax)); } delete[] p_input_data; // 清理分配的空间 return 0; ```