### 在 Jetson 平台上通过 JetPack 6.2 设置和运行 ONNX Runtime-GPU 要在 Jetson 平台（例如 Jetson Orin Nano 或 Jetson Orin NX）上使用 JetPack 6.2 安装和配置 `onnxruntime-gpu`，需要注意以下几点： #### 系统环境准备 Jetson 设备通常基于 ARM 架构，因此需要确保所使用的软件包兼容该架构。此外，在 JetPack 6.2 中，默认的 CMake 版本可能不足以支持某些功能模块（如 ONNX Runtime 的 GPU 支持）。推荐升级到至少 CMake 3.21.0[^3]。 以下是具体的步骤说明： --- #### 升级 CMake 到版本 3.21.0 由于 JetPack 默认附带的 CMake 可能不满足需求，建议手动安装更新版 CMake： ```bash sudo apt remove --purge cmake wget https://github.com/Kitware/CMake/releases/download/v3.21.0/cmake-3.21.0.tar.gz tar -zxvf cmake-3.21.0.tar.gz cd cmake-3.21.0/ ./bootstrap && make -j$(nproc) && sudo make install cmake --version ``` 确认输出显示为 `cmake version 3.21.0` 后继续下一步操作。 --- #### 安装依赖项 ONNX Runtime 需要一些基础库的支持，可以通过 APT 包管理器安装这些依赖项： ```bash sudo apt update sudo apt install -y build-essential libssl-dev python3-pip git curl unzip pip3 install numpy protobuf setuptools wheel ``` 如果计划启用 CUDA 加速，则还需要验证 NVIDIA 驱动程序以及 CUDA 工具链是否正常工作。可以执行以下命令测试 CUDA 是否可用： ```bash nvcc --version nvidia-smi ``` 上述命令应返回有效的驱动版本号和设备状态信息[^2]。 --- #### 编译并安装 ONNX Runtime 官方提供了针对不同平台预编译好的二进制文件；然而对于特定硬件优化场景来说，自行构建可能是更好的选择。下面介绍两种方法来获取适合 Jetson 的 `onnxruntime-gpu`。 ##### 方法一：直接下载预编译轮子 (Wheel File) 访问 PyPI 页面或者 GitHub Releases 下载对应 ARM64 Linux 的 `.whl` 文件，并利用 pip 进行本地安装： ```bash # 替换 URL 至实际发布的地址 curl -O https://<path_to_onnxruntime_gpu>.whl pip3 install ./<filename_of_wheel_file> ``` 注意此方式仅适用于那些已经由社区维护者适配完成的标准发行版本。若目标环境中存在特殊定制化需求，则需考虑第二种方案——源码自定义编译。 ##### 方法二：从源代码编译 克隆最新稳定分支至当前目录下： ```bash git clone --recursive https://github.com/microsoft/onnxruntime.git cd onnxruntime ``` 接着按照如下指令逐步调整 Makefile 参数以适应目标 SoC 性质： ```bash ./build.sh --config RelWithDebInfo \ --use_cuda \ --cuda_home /usr/local/cuda \ --cudnn_home /usr/lib/aarch64-linux-gnu \ --parallel \ --update \ --build_shared_lib ``` 成功完成后会生成动态共享对象形式的目标产物位于路径 `build/Linux/RelWithDebInfo/libonnxruntime.so` 。将其复制到 Python 解析路径即可加载扩展模块。 --- #### 测试部署效果 编写简单的推理脚本来检验整个流程是否顺畅无误： ```python import onnxruntime as ort print(f"ORT Version: {ort.__version__}") session = ort.InferenceSession("/path/to/model.onnx", providers=['CUDAExecutionProvider']) input_name = session.get_inputs()[0].name output_name = session.get_outputs()[0].name dummy_input = {"data": ...} # Replace with actual input tensor. result = session.run([output_name], dummy_input)[0] print(result.shape) ``` 以上代码片段展示了如何初始化一个模型实例并通过指定 provider 来触发 GPU 计算单元参与运算过程[^1]。 --- #### 常见问题排查 1. **错误提示找不到 libcublas.so.x**: 表明缺少必要的 CUDA 库，请重新检查安装环节。 2. **性能未达到预期水平**: 考虑进一步微调 batch size 和 thread count 参数组合寻找最佳平衡点。 3. **无法识别 TensorRT 插件层结构**: 当前实现或许尚未完全覆盖所有潜在用例范围内的转换逻辑。 ---