### Ubuntu 22.04 上使用 YoloV5s 模型并用 C++ 部署 ONNX 文件的环境配置教程 在 Ubuntu 22.04 系统上部署 YoloV5s 模型的 ONNX 文件，需要完成以下任务：安装必要的工具链、配置深度学习环境（包括 CUDA 和 TensorRT）、将 PyTorch 模型转换为 ONNX 格式，并通过 C++ 实现推理。以下是详细说明。 --- #### 1. 安装基础工具链和依赖库 确保系统已更新到最新状态，并安装必要的开发工具和库： ```bash sudo apt-get update sudo apt-get upgrade sudo apt-get install -y build-essential cmake git gdb libopencv-dev ``` 这些命令会安装编译工具链、调试器以及 OpenCV 开发库[^1]。 --- #### 2. 安装 NVIDIA 相关库 为了支持 GPU 加速和 TensorRT 推理，需要安装 NVIDIA 的 CUDA 和 cuDNN 库： ```bash # 安装 CUDA 11.8（适用于 TensorRT 8.6） wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb sudo dpkg -i cuda-keyring_1.0-1_all.deb sudo apt-get update sudo apt-get install -y cuda-11-8 # 设置环境变量 echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc # 安装 cuDNN # 下载 cuDNN v8.6 (https://developer.nvidia.com/rdp/cudnn-archive) tar -xzvf cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz sudo cp cuda/include/cudnn*.h /usr/local/cuda/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn* ``` --- #### 3. 安装 TensorRT TensorRT 是 NVIDIA 提供的高性能推理框架，适合部署 YoloV5s 模型： ```bash # 下载 TensorRT 8.6.1.6 (https://developer.nvidia.com/nvidia-tensorrt-download) tar -xzvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.cudnn8.6.tar.gz sudo cp -r TensorRT-8.6.1.6/* /usr/local/ # 设置环境变量 echo 'export TENSORRT_DIR=/usr/local/TensorRT' >> ~/.bashrc source ~/.bashrc ``` --- #### 4. 转换 YoloV5s 模型为 ONNX 格式 首先从 Ultralytics 官方仓库下载 YoloV5s 模型，并将其转换为 ONNX 格式： ```bash # 克隆 YoloV5 仓库 git clone https://github.com/ultralytics/yolov5 cd yolov5 # 安装 Python 依赖 pip install -r requirements.txt # 导出 ONNX 模型 python export.py --weights yolov5s.pt --img 640 --batch 1 --include onnx ``` 这一步会生成 `yolov5s.onnx` 文件，用于后续的 C++ 部署[^2]。 --- #### 5. 使用 C++ 部署 ONNX 模型 以下是一个简单的 C++ 示例代码，展示如何加载 ONNX 模型并进行推理： ```cpp #include <NvInfer.h> #include <NvOnnxParser.h> #include <cuda_runtime_api.h> #include <iostream> #include <fstream> #include <vector> using namespace nvinfer1; // 加载 ONNX 模型 ICudaEngine* createEngine(const std::string& onnxFile) { auto builder = createInferBuilder(gLogger); auto network = builder->createNetworkV2(1U << static_cast<uint32_t>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH)); auto parser = createParser(*network, gLogger); std::ifstream file(onnxFile, std::ios::binary); if (!file) { std::cerr << "Failed to open ONNX file" << std::endl; return nullptr; } std::vector<char> buffer((std::istreambuf_iterator<char>(file)), std::istreambuf_iterator<char>()); parser->parseFromBuffer(buffer.data(), buffer.size()); auto config = builder->createBuilderConfig(); return builder->buildEngineWithConfig(*network, *config); } int main() { const std::string onnxFilePath = "yolov5s.onnx"; ICudaEngine* engine = createEngine(onnxFilePath); if (!engine) { std::cerr << "Failed to create engine" << std::endl; return -1; } std::cout << "ONNX model loaded successfully!" << std::endl; return 0; } ``` 编译此代码时，需要链接 TensorRT 和 CUDA 库： ```bash g++ -o deploy_yolov5 deploy_yolov5.cpp -I/usr/local/TensorRT/include \ -L/usr/local/TensorRT/lib -lnvinfer -lnvinfer_plugin -lcudart -std=c++17 ``` --- #### 6. 注意事项 - 确保关闭 Secure Boot，否则可能导致驱动或库无法正常加载[^1]。 - 如果需要更高的性能优化，可以使用 TensorRT 的 INT8 或 FP16 模式[^2]。 - 在部署过程中，可能需要调整模型输入大小或批量处理参数以适应实际应用场景[^3]。 ---