在 Python 中加载 `onnxruntime-gpu` 的方式与加载普通的 `onnxruntime` 模块相同，但需要确保： 1. ✅ 已安装支持 GPU 的 ONNX Runtime（即 `onnxruntime-gpu`）。 2. ✅ 系统中已安装正确的 CUDA 和 cuDNN 驱动支持。 3. ✅ 使用正确的执行器（`CUDAExecutionProvider`）进行推理。 --- ### ✅ 步骤 1：安装 `onnxruntime-gpu` 确保你已安装支持 GPU 的版本： ```bash pip install onnxruntime-gpu==1.21.1 ``` > ✅ 请使用官方源安装，避免使用镜像源导致安装非官方构建。 --- ### ✅ 步骤 2：验证是否安装成功 ```python import onnxruntime as ort print(ort.get_available_providers()) ``` ✅ 正常输出应为： ``` ['CUDAExecutionProvider', 'CPUExecutionProvider'] ``` --- ### ✅ 步骤 3：加载 ONNX 模型并使用 GPU 推理 以下是一个完整的示例，展示如何加载 ONNX 模型并使用 GPU 进行推理： ```python import onnxruntime as ort import numpy as np # ONNX 模型路径 model_path = "yolo11n_best.onnx" # 检查可用执行器 providers = ort.get_available_providers() print("可用执行器:", providers) # 选择执行器（优先使用 GPU） provider = ['CUDAExecutionProvider', 'CPUExecutionProvider'] # 创建推理会话 session = ort.InferenceSession(model_path, providers=provider) # 获取输入输出名称 input_name = session.get_inputs()[0].name output_name = session.get_outputs()[0].name # 构造输入数据（根据模型输入维度构造） input_data = np.random.rand(1, 3, 640, 640).astype(np.float32) # 示例输入 # 执行推理 outputs = session.run([output_name], {input_name: input_data}) # 输出结果 print("推理结果:", outputs[0].shape) ``` --- ### ✅ 注意事项 | 注意项 | 说明 | |--------|------| | `onnxruntime` 和 `onnxruntime-gpu` 不能共存 | 安装前请卸载旧版本：`pip uninstall onnxruntime onnxruntime-gpu -y` | | 使用 GPU 需要 CUDA 支持 | 确保你的系统已安装正确版本的 CUDA 和 cuDNN | | 不要使用镜像源安装 | 避免安装非官方构建版本，建议使用默认源安装 | | ONNX Runtime 版本兼容性 | 推荐使用 `onnxruntime-gpu==1.21.1`，与主流深度学习模型兼容性好 | --- ### ✅ 总结 | 步骤 | 操作 | |------|------| | 安装 | `pip install onnxruntime-gpu` | | 验证 | `ort.get_available_providers()` 应包含 `CUDAExecutionProvider` | | 使用 | 创建 `InferenceSession` 时指定 `providers=['CUDAExecutionProvider']` | ---