### 将 Qwen2VL 模型从 SafeTensors 格式转换为 ONNX 格式的 Python 脚本 为了将 Qwen2VL 模型从 SafeTensors 格式转换为 ONNX 格式，可以按照以下方式编写 Python 脚本。此过程涉及加载模型权重、定义输入张量以及导出模型至 ONNX 文件。 以下是完整的实现方法： #### 实现步骤说明 1. **安装依赖库** 需要确保已经安装 `torch` 和 `transformers` 库。如果尚未安装这些库，可以通过运行以下命令来完成安装： ```bash pip install torch transformers safetensors onnx ``` 2. **加载模型和权重** 使用 `AutoModelForCausalLM` 加载预训练的 Qwen2VL 模型及其对应的 SafeTensors 权重文件。 3. **设置输入张量** 定义一个虚拟的输入张量用于模拟推理流程。这通常是一个随机生成的张量或者基于实际数据构建的张量。 4. **导出到 ONNX 格式** 利用 PyTorch 提供的 `torch.onnx.export()` 方法将模型导出为 ONNX 文件。 --- #### 示例代码 ```python import os from transformers import AutoTokenizer, AutoModelForCausalLM import torch import numpy as np # 设置设备 device = "cuda" if torch.cuda.is_available() else "cpu" # 加载模型和分词器 model_name_or_path = "path/to/qwen2vl/safetensors/model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained( model_name_or_path, device_map="auto", trust_remote_code=True, dtype=torch.qint4 # 修改量化粒度 [^1] ) # 移动模型到指定设备 model.eval() model.to(device) # 创建示例输入 input_text = "你好，世界！" inputs = tokenizer(input_text, return_tensors="pt").to(device) # 导出ONNX模型 output_onnx_file = "./qwen2vl_model.onnx" dynamic_axes = { "input_ids": {0: "batch_size", 1: "sequence_length"}, "attention_mask": {0: "batch_size", 1: "sequence_length"}, "output_0": {0: "batch_size", 1: "sequence_length"} } with torch.no_grad(): symbolic_names = {0: "batch_size", 1: "sequence_length"} input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] torch.onnx.export( model=model, args=(input_ids, attention_mask), f=output_onnx_file, export_params=True, opset_version=13, do_constant_folding=True, input_names=["input_ids", "attention_mask"], output_names=["output_0"], dynamic_axes=dynamic_axes ) print(f"模型成功导出为ONNX格式并保存在路径：{os.path.abspath(output_onnx_file)}") ``` --- #### 关键点解析 1. **SafeTensors 支持** 如果模型是以 `.safetensors` 格式存储，则通过 `AutoModelForCausalLM.from_pretrained(...)` 自动识别并加载该格式的权重[^1]。 2. **动态轴支持** 在导出过程中设置了 `dynamic_axes` 参数以允许批量大小 (`batch_size`) 和序列长度 (`sequence_length`) 动态变化[^2]。 3. **性能优化** 使用 `dtype=torch.qint4` 进行量化处理可显著减少内存占用，同时保持较高的推理精度[^1]。 4. **错误排查** 若遇到类似于 NumPy 版本不兼容的问题（如警告信息所示），建议升级或降级相关依赖版本以匹配当前环境需求[^1]。 --- ###