### TensorRT 10.3 中 `context->enqueue` 的使用与问题 在 TensorRT 10.3 中，`context->enqueue` 是一个关键函数，用于执行推理操作。它将输入数据传递到 GPU 上的模型，并生成输出结果。以下是关于 `context->enqueue` 的详细说明和可能遇到的问题。 #### 1. `context->enqueue` 的基本用法 `context->enqueue` 是 TensorRT 推理引擎中的核心方法之一，负责在 GPU 上调度推理任务。其基本签名如下[^4]： ```cpp virtual bool IExecutionContext::enqueue(int batchSize, const void* const* bindings, void** outputs, cudaStream_t stream) = 0; ``` - **`batchSize`**: 指定推理的批量大小。 - **`bindings`**: 输入和输出张量的指针数组，按绑定顺序排列。 - **`outputs`**: 输出缓冲区的指针数组。 - **`stream`**: CUDA 流对象，用于异步执行推理任务。 调用此方法时，必须确保输入数据已经正确填充到设备内存中，并且输出缓冲区已分配足够的空间以存储结果。 #### 2. 常见问题及解决方法 ##### (1) 输入/输出缓冲区未正确分配 如果输入或输出缓冲区未正确分配，可能导致运行时错误或不正确的推理结果。需要确保每个绑定都对应一个有效的设备内存缓冲区[^5]。 ```cpp // 分配输入和输出缓冲区 cudaMalloc(&buffers[0], batchSize * inputSize * sizeof(float)); // 输入缓冲区 cudaMalloc(&buffers[1], batchSize * outputSize * sizeof(float)); // 输出缓冲区 ``` ##### (2) CUDA 流未正确配置 `context->enqueue` 使用 CUDA 流进行异步执行。如果流未正确配置，可能会导致同步问题或性能下降。建议始终显式创建 CUDA 流并传递给该方法[^6]。 ```cpp cudaStream_t stream; cudaStreamCreate(&stream); // 调用 enqueue 方法 context->enqueue(batchSize, buffers, stream, nullptr); ``` ##### (3) 异步执行导致的数据竞争 由于 `context->enqueue` 是异步的，可能在推理完成前访问输出缓冲区，从而引发数据竞争。可以通过 `cudaStreamSynchronize` 确保推理完成后再访问结果[^7]。 ```cpp cudaStreamSynchronize(stream); ``` #### 3. 示例代码 以下是一个完整的示例，展示如何使用 `context->enqueue` 执行推理： ```cpp #include "NvInfer.h" #include <cuda_runtime_api.h> void infer(nvinfer1::IExecutionContext* context, int batchSize, float* hostInput, float* hostOutput, int inputSize, int outputSize) { // 分配设备内存 float* deviceInput; float* deviceOutput; cudaMalloc(&deviceInput, batchSize * inputSize * sizeof(float)); cudaMalloc(&deviceOutput, batchSize * outputSize * sizeof(float)); // 将输入数据从主机复制到设备 cudaMemcpy(deviceInput, hostInput, batchSize * inputSize * sizeof(float), cudaMemcpyHostToDevice); // 设置输入和输出缓冲区 void* buffers[] = {deviceInput, deviceOutput}; // 创建 CUDA 流 cudaStream_t stream; cudaStreamCreate(&stream); // 执行推理 context->enqueue(batchSize, buffers, stream, nullptr); // 同步 CUDA 流 cudaStreamSynchronize(stream); // 将输出数据从设备复制到主机 cudaMemcpy(hostOutput, deviceOutput, batchSize * outputSize * sizeof(float), cudaMemcpyDeviceToHost); // 释放资源 cudaFree(deviceInput); cudaFree(deviceOutput); cudaStreamDestroy(stream); } ``` #### 4. 性能优化建议 为了提高 `context->enqueue` 的性能，可以考虑以下几点： - 使用更大的批量大小以充分利用 GPU 的并行计算能力[^8]。 - 预热模型（Warm-up），即在正式推理前调用几次 `context->enqueue`，以减少首次推理的延迟[^9]。 - 优化 CUDA 流的使用，避免不必要的同步操作。 ---