要使用 Hugging Face 的 `transformers` 库加载和转换 Gemma-270M（`gemma-3:270m`）模型格式，**前提是你已经从 Hugging Face 官方获取了 Gemma 的原始权重模型**（通常是 PyTorch 或 Safetensors 格式）。 如果你希望将 Gemma-270M 模型从原始格式（如 PyTorch）**转换为其他格式**（如 ONNX、TensorRT、或 GGUF），可以使用 `transformers` 和相关工具实现。 下面给出 **使用 `transformers` 库将 Gemma-270M 转换为 ONNX 格式** 的完整 Python 示例代码。 --- ## ✅ 使用 `transformers` 库将 Gemma-270M 转换为 ONNX 的代码 ### 📦 1. 安装依赖 ```bash pip install transformers torch onnx onnxruntime ``` --- ### 🧠 2. Python 转换代码 ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 模型名称或本地路径 model_name = "google/gemma-270m" # 加载模型和 Tokenizer tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 设置模型为 eval 模式 model.eval() # 构造输入数据 text = "Once upon a time" inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=128) # 导出为 ONNX 格式 onnx_model_path = "gemma-270m.onnx" # 指定输入输出名称和动态维度 dynamic_axes = { 'input_ids': {0: 'batch_size', 1: 'sequence_length'}, 'attention_mask': {0: 'batch_size', 1: 'sequence_length'}, 'output': {0: 'batch_size', 1: 'sequence_length'} } # 导出 ONNX 模型 torch.onnx.export( model, (inputs['input_ids'], inputs['attention_mask']), onnx_model_path, input_names=['input_ids', 'attention_mask'], output_names=['output'], dynamic_axes=dynamic_axes, opset_version=13, do_constant_folding=True, verbose=False ) print(f"模型已成功导出到: {onnx_model_path}") ``` --- ## ✅ 使用 ONNX 模型进行推理（示例） ```python import onnxruntime as ort import numpy as np # 加载 ONNX 模型 ort_session = ort.InferenceSession("gemma-270m.onnx") # 准备输入 input_ids = inputs['input_ids'].numpy() attention_mask = inputs['attention_mask'].numpy() # 推理 outputs = ort_session.run( None, {'input_ids': input_ids, 'attention_mask': attention_mask} ) # 解码输出 print("输出 token IDs:", np.argmax(outputs[0], axis=-1)) ``` --- ## 📌 注意事项 | 项目 | 说明 | |------|------| | 支持的转换格式 | ONNX、TorchScript、TensorRT（需额外工具） | | 是否支持 GGUF | ❌ `transformers` 不支持 GGUF，需用 `llama.cpp` 转换 | | 是否支持量化 | ✅ 可通过 `transformers` + `torch.quantization` 实现量化 | | 是否支持 Hugging Face 格式转换 | ✅ 支持 `.bin` 与 `.safetensors` 互转 | --- ## ✅ 总结：使用 `transformers` 可以做什么 | 转换目标 | 是否支持 | 工具/方法 | |----------|-----------|------------| | ONNX | ✅ | `torch.onnx.export` | | TorchScript | ✅ | `torch.jit.script` | | TensorRT | ✅（需额外步骤） | `torch2trt` 或 ONNX 转 TRT | | GGUF | ❌ | 需使用 `llama.cpp` | ---