### 关于Transformers和PEFT库 #### Transformers简介 Transformers 是由 Hugging Face 开发的一个强大的自然语言处理 (NLP) 库，它提供了预训练的语言模型以及用于微调这些模型的各种工具。该库支持多种架构，如 BERT、GPT 系列、RoBERTa 等，并且可以方便地应用于各种 NLP 任务，比如文本分类、命名实体识别、问答系统等[^1]。 #### PEFT库概述 PEFT（Parameter-Efficient Fine-Tuning）是一个专注于参数高效微调技术的开源项目。通过集成Transformers、Diffusers 和 Accelerate 库，PEFT 提供了一种快速简便的方式来加载、训练并部署大规模预训练模型进行推理操作。特别是对于资源受限环境下的应用来说非常有用。 #### 使用LORA方法微调VIT图像分类器 在实际案例中，当涉及到视觉变换网络(Vision Transformer,ViT)这样的复杂结构时，可以通过引入低秩自适应(Low-Rank Adaptation,LORA)机制来进行有效的迁移学习。具体实现上，在保持原有骨干网权重不变的情况下仅更新少量新增加层中的参数，从而达到节省计算成本的目的。 ```python from transformers import ViTForImageClassification, Trainer, TrainingArguments import torch from peft import get_peft_model, LoraConfig model_name_or_path = "google/vit-base-patch16-224" image_size = 224 num_labels = 10 config = { 'reduction_factor':8, } lora_config = LoraConfig( r=config['reduction_factor'], ) vit_model = ViTForImageClassification.from_pretrained(model_name_or_path,num_labels=num_labels) peft_vit = get_peft_model(vit_model,lora_config) training_args = TrainingArguments(output_dir="./results", per_device_train_batch_size=16, num_train_epochs=3,) trainer = Trainer( model=peft_vit, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) trainer.train() ``` 上述代码展示了如何利用PEFT提供的`get_peft_model()`函数配合特定配置对象(`LoraConfig`)来创建基于ViT的基础之上带有LoRA调整功能的新实例化模型(peft_vit)，之后再将其传递给HuggingFace官方推荐使用的Trainer类完成整个训练流程。 #### 流式输出与缓存优化 为了提高生成效率和服务响应速度，可以在推断阶段开启KV Cache选项(use_cache=True), 同时设置模型为评估模式(model.eval())以关闭dropout等功能。这样做的好处是可以显著减少重复计算量，进而加快解码过程。另外还可以借助TextStreamer组件实现实时打印生成的结果[^2]。 ```python from transformers import AutoModelForCausalLM,AutoTokenizer, TextStreamer tokenizer = AutoTokenizer.from_pretrained("your-model-name") model = AutoModelForCausalLM.from_pretrained("your-model-name").eval() streamer = TextStreamer(tokenizer) inputs = tokenizer("你是谁", return_tensors="pt") outputs = model.generate(input_ids=inputs["input_ids"], max_new_tokens=500, use_cache=True, streamer=streamer) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 这段脚本说明了怎样结合使用TextStreamer类和其他参数控制变量(如max_new_tokens,use_cache)来自定义化定制化的文本生成逻辑，同时确保性能最优化。