### C# 使用 ONNX GPU 加速 示例教程 #### 准备工作 为了实现C#应用程序中的ONNX模型GPU加速，需先配置开发环境。在Visual Studio中创建或打开项目后，在解决方案资源管理器内右键单击项目名称并选择“管理NuGet程序包”。随后切换到“浏览”标签页，并输入`onnxruntime`作为关键词进行查找[^1]。 对于希望利用图形处理单元（GPU）来提升性能的情况，应特别注意选取带有`.Gpu`后缀的软件包——即`Microsoft.ML.OnnxRuntime.Gpu`而非普通的`Microsoft.ML.OnnxRuntime`。这是因为后者仅适用于中央处理器(CPU)，而前者则集成了必要的驱动以支持CUDA技术下的硬件加速功能[^2]。 #### 安装依赖项 除了正确安装上述提及的核心库外，还需确认本地计算机已预先部署好兼容版本的CUDA工具链以及cuDNN运行时库。这些组件通常可以从NVIDIA官方网站获取最新发行版；然而，考虑到不同版本间的适配性问题，建议参照官方文档提供的指导表来进行具体的选择与设置[^3]。 例如，当采用特定版本的OnnxRuntime时，可能需要匹配相应版本范围内的CUDA和cuDNN组合才能确保最佳的工作状态。路径如`C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6`展示了典型情况下CUDA SDK被默认安放的位置。 #### 编写代码示例 下面给出一段简单的C#代码片段用于加载预训练好的ResNet50模型并通过GPU执行图像分类任务： ```csharp using System; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; class Program { static void Main(string[] args){ var options = new SessionOptions(); // 启用GPU计算选项 options.AddConfigEntry("session.set_gpu_memory_limit", "8589934592"); // 设置最大可用显存大小 using (var session = new InferenceSession(@"path_to_your_model.onnx", options)){ // 构建输入张量... DenseTensor<float> inputTensor = ... ; // 创建输出容器... IDisposableReadOnlyDictionary<string, IDisposableValue> results = session.Run(new List<Value>{ Value.CreateSequence(inputTensor)}); foreach(var result in results.Values){ Console.WriteLine(result.AsEnumerable()); } } } } ``` 此段代码通过指定会话参数启用了GPU模式，并设置了允许使用的最大显存量。实际应用过程中还需要根据具体的业务需求调整这部分配置。