### 安装 TensorRT 的指南 在 Jetson Xavier NX 设备上安装 TensorRT 是一项常见的需求，尤其是在优化深度学习模型推理性能时。以下是详细的说明： #### 1. 系统环境准备 确保 Jetson Xavier NX 已经配置好基础开发环境，包括 CUDA 和 cuDNN。CUDA 库通常位于 `/usr/local/cuda`，cuDNN 和 TensorRT 的共享库 `.so` 文件则存储于 `/usr/lib/aarch64-linux-gnu/`[^3]。 #### 2. 下载并解压 TensorRT 软件包 NVIDIA 提供了适用于不同平台的 TensorRT 版本。可以从 NVIDIA 开发者网站获取适合 Jetson 平台的软件包。下载完成后将其解压缩至目标目录，例如 `/usr/src/tensorrt`[^3]。 ```bash tar zxvf TensorRT-<version>.tar.gz -C /usr/src/ ``` 完成解压后，TensorRT 的根目录应设为 `/usr/src/tensorrt`。 #### 3. 配置 CMake 构建工具 如果项目依赖 CMake 进行构建，则需修改 `common.cmake` 或其他相关脚本中的 TensorRT 路径变量。具体操作如下所示： ```bash cd <your_project_directory>/cmake vim common.cmake ``` 编辑文件并将其中定义 TensorRT 根路径的一行更新为实际路径： ```cmake set(TensorRT_ROOT /usr/src/tensorrt) ``` 此步骤确保编译器能够找到 TensorRT 头文件和链接所需的动态库[^1]。 #### 4. 使用 ONNX 模型生成 TensorRT 加速引擎 对于 PyTorch、MXNet 等不被 TensorRT 原生支持的框架，可先将模型导出为 ONNX 格式，再通过 TensorRT SDK 创建高性能推理引擎。示例命令如下： ```python import tensorrt as trt def build_engine(onnx_file_path, engine_file_path): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with trt.Builder(TRT_LOGGER) as builder, \ builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) as network, \ trt.OnnxParser(network, TRT_LOGGER) as parser: with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) return None config = builder.create_builder_config() config.max_workspace_size = 1 << 30 # 设置最大工作空间大小（单位字节） serialized_engine = builder.build_serialized_network(network, config) with open(engine_file_path, "wb") as f: f.write(serialized_engine) build_engine('model.onnx', 'model.trt') ``` 上述代码片段展示了如何加载 ONNX 文件并通过 TensorRT API 构造 `.trt` 推理引擎[^1]。 #### 5. 测试 TensorRT 功能 验证 TensorRT 是否正常工作的简单方法是运行官方样例程序或自定义测试脚本。这些样本一般随 TensorRT 发布包一起提供，在 `/usr/src/tensorrt/samples` 中可以找到[^2]。 --- ###