### 实现 YOLOv8 和 TensorRT 的 .engine 文件对 USB 摄像头的实时目标检测 要使用 YOLOv8 和 TensorRT 的 `.engine` 文件实现 USB 摄像头的实时目标检测，可以按照以下方法完成： #### 1. 准备环境 确保 Jetson Nano 或其他设备已安装必要的依赖项和库。这包括 OpenCV、CUDA、cuDNN 和 TensorRT。 - 安装 OpenCV 来捕获 USB 摄像头数据： ```bash sudo apt-get install python3-opencv ``` - 验证 CUDA 和 cuDNN 是否正常工作，并确认 TensorRT 已正确配置[^1]。 #### 2. 加载预训练模型并转换为 TensorRT 格式 如果尚未生成 `.engine` 文件，则需要先通过 ONNX 转换器将 PyTorch 训练好的 YOLOv8 模型导出为 ONNX 格式，再将其转化为 TensorRT 支持的 `.engine` 文件。 - 导出 ONNX 文件： ```python import torch from ultralytics import YOLO model = YOLO('yolov8n.pt') # 使用官方预训练权重或其他自定义权重 dummy_input = torch.randn(1, 3, 640, 640) # 输入张量形状 torch.onnx.export(model.model, dummy_input, 'yolov8n.onnx', opset_version=12) ``` - 将 ONNX 文件转换为 TensorRT `.engine` 文件： ```bash trtexec --onnx=yolov8n.onnx --saveEngine=yolov8n.trt --explicitBatch --workspace=1024 ``` 此命令会生成名为 `yolov8n.trt` 的文件[^3]。 #### 3. 编写推理代码 编写 C++ 或 Python 推理程序来加载 `.engine` 文件并对视频流进行处理。 以下是基于 Python 的简单示例代码片段： ```python import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda import pycamera.array as carray import time class HostDeviceMem(object): def __init__(self, host_mem, device_mem): self.host = host_mem self.device = device_mem def allocate_buffers(engine): inputs = [] outputs = [] bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) # Allocate host and device buffers host_mem = cuda.pagelocked_empty(size, dtype) device_mem = cuda.mem_alloc(host_mem.nbytes) # Append the device buffer to device bindings bindings.append(int(device_mem)) # Append to input or output list if engine.binding_is_input(binding): inputs.append(HostDeviceMem(host_mem, device_mem)) else: outputs.append(HostDeviceMem(host_mem, device_mem)) return inputs, outputs, bindings, stream def do_inference(context, bindings, inputs, outputs, stream, batch_size=1): [cuda.memcpy_htod_async(inp.device, inp.host, stream) for inp in inputs] context.execute_async(batch_size=batch_size, bindings=bindings, stream_handle=stream.handle) [cuda.memcpy_dtoh_async(out.host, out.device, stream) for out in outputs] stream.synchronize() # 初始化 TensorRT 引擎 TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with open("yolov8n.trt", "rb") as f, trt.Runtime(TRT_LOGGER) as runtime: engine = runtime.deserialize_cuda_engine(f.read()) inputs, outputs, bindings, stream = allocate_buffers(engine) cap = cv2.VideoCapture(0) # 打开默认摄像头（USB） while True: ret, frame = cap.read() if not ret: break img = preprocess(frame) # 自定义图像预处理函数 inputs[0].host = img.ravel().astype(np.float32) start_time = time.time() do_inference(context, bindings, inputs, outputs, stream) inference_time = time.time() - start_time print(f"推理时间：{inference_time:.2f} 秒") detections = postprocess(outputs) # 自定义后处理函数 visualize(frame, detections) # 可视化结果 cap.release() cv2.destroyAllWindows() ``` 在此代码中，需自行实现 `preprocess()` 和 `postprocess()` 方法以适配输入输出格式[^3]。 #### 4. 性能优化建议 为了进一步提升性能，可尝试调整批大小或降低分辨率。此外，在实际应用中可能还需要考虑硬件资源分配以及功耗管理等问题[^1]。 ---