### 性能优化的关键点 在 C++ 中使用 ONNX Runtime 调用 GPU 进行实时循环推理图片或视频时，如果发现后续推理没有加速的现象，可以从以下几个方面入手进行性能优化： #### 1. **初始化阶段的资源分配** 确保模型加载和会话创建仅发生在初始化阶段，而不是每次推理前都重复执行。频繁地重新加载模型会导致额外的时间消耗，并可能影响 GPU 缓存的有效利用[^1]。 ```cpp // 初始化部分：一次性完成模型加载与配置 Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL); // 添加 CUDA 提供商以启用 GPU 支持 session_options.AppendExecutionProvider_CUDA(CUDADeviceInfo{0}); Ort::Session session(env, model_path.c_str(), session_options); ``` #### 2. **输入预处理效率提升** 对于图片或视频帧的数据预处理（如缩放、裁剪、归一化），应尽量减少 CPU 计算负担并将这些操作转移到 GPU 上完成。OpenCV 是一种常用工具，但其默认实现主要依赖于 CPU。可以通过集成 cuDNN 或其他专用库来改进这一点[^2]。 ```cpp cv::Mat frame; // 假设这是捕获的一帧图像 cv::resize(frame, resized_frame, cv::Size(input_width, input_height)); resized_frame.convertTo(normalized_frame, CV_32F, 1 / 255.0f); // 归一化像素值范围至 [0, 1] // 将 OpenCV Mat 数据转换成适合传递给 ONNX Runtime 的形式 float* data = reinterpret_cast<float*>(normalized_frame.data); std::vector<int64_t> input_shape = {batch_size, channels, height, width}; auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value input_tensor = Ort::Value::CreateTensor(memory_info, data, total_elements, input_shape.data(), input_shape.size()); ``` #### 3. **批次大小的选择** 合理设置批量大小（Batch Size）能够充分利用 GPU 并行计算能力从而提高吞吐率。然而过大的批次数目又会造成延迟增加，因此需要依据具体应用场景权衡两者关系[^3]。 ```cpp int batch_size = determine_optimal_batch_size(); // 动态评估最佳批数量级 std::vector<cv::Mat> frames(batch_size); // 存储待预测的所有帧 for(int i=0;i<frames.size();++i){ preprocess(frames[i]); // 对每一帧单独做前期准备工作 } // 组合所有预处理后的结果形成最终送入网络的大张量结构体 combine_into_single_tensor(preprocessed_frames, combined_tensor); ``` #### 4. **异步推理机制引入** 为了进一步降低端到端延时，可考虑采用异步 API 来解耦数据准备同实际推断之间的关联度。这样即使某个时刻存在 I/O 瓶颈也不会阻塞整个流水线运作流程[^1]。 ```cpp Ort::RunOptions run_options; run_options.SetRunLogVerbosityLevel(0); run_options.SetRunAsync(true); std::vector<const char*> input_names = {"input"}; std::vector<const char*> output_names = {"output"}; Ort::Value results; try{ results = session.Run(run_options, input_names.data(), &input_tensor, 1, output_names.data(), 1); }catch(const std::exception& ex){ handle_exception(ex.what()); // 自定义异常处理器 } ``` --- ### 结论概述 通过上述方法可以有效缓解甚至彻底消除因 GPU 利用不足所引起的性能问题。值得注意的是，任何技术选型都需要紧密结合业务需求来进行针对性调整，只有这样才能达成预期目标并获得理想收益[^2]。 ```python from onnxruntime import InferenceSession, SessionOptions, get_available_providers provider_list = ['CUDAExecutionProvider'] if 'CUDAExecutionProvider' in get_available_providers() else [] options = SessionOptions() options.graph_optimization_level = GraphOptimizationLevel.ORT_ENABLE_EXTENDED model_session = InferenceSession("path/to/model.onnx", sess_options=options, providers=provider_list) def perform_inference(image_array): inputs = {'input': image_array.astype(numpy.float32)} outputs = model_session.run(['output'], inputs)[0] return postprocess(outputs) ``` ---