为了在Python中使用LoRA适配器加载模型，可以利用Hugging Face的`transformers`和`peft`库。Hugging Face的`transformers`库原生支持多种参数高效微调（PEFT）方法，包括LoRA[^2]。以下是一个完整的示例，展示如何从Hugging Face Hub加载一个预训练模型，并应用LoRA适配器。 ### 加载模型并应用LoRA适配器 ```python from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel, PeftConfig # 模型名称或本地路径 model_name = "baichuan-7b" # 替换为实际模型名称或路径 # 加载分词器 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) # 加载基础模型 model = AutoModelForCausalLM.from_pretrained(model_name, load_in_8bit=True) # 加载LoRA适配器（假设适配器权重已经训练并保存在指定路径） lora_adapter_path = "./lora_adapter_weights" # 替换为实际的适配器路径 model = PeftModel.from_pretrained(model, lora_adapter_path) # 打印可训练参数信息 model.print_trainable_parameters() # 推理测试 input_text = "你好，世界！" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` ### 说明 - **模型加载**：使用`AutoModelForCausalLM`加载预训练的语言模型，同时通过`load_in_8bit=True`启用8位量化以减少显存占用[^1]。 - **LoRA适配器加载**：通过`PeftModel.from_pretrained()`加载已有的LoRA适配器权重，这些权重通常是在训练过程中保存的[^2]。 - **推理测试**：输入一段文本并生成响应，验证模型是否成功加载并应用了LoRA适配器。 ### 模型上传与版本控制（可选） 如果你希望将训练好的LoRA适配器上传到Hugging Face Hub以便于分享或版本控制，可以使用以下代码： ```python from huggingface_hub import login # 登录Hugging Face账户（需提前获取访问令牌） login(token="your_huggingface_token") # 将模型推送到Hugging Face Hub model.push_to_hub("my-lora-adapter-model") tokenizer.push_to_hub("my-lora-adapter-model") ``` 此方法允许你将模型和适配器保存到云端，并通过简单的API调用进行加载[^4]。 --- ###