### Fuyu-8B 的 Python 代码示例 以下是一个扩展版本的 Fuyu-8B 模型使用示例，包含了更多的功能和参数调整。此代码不仅生成图像描述，还支持多张图片的批量处理以及自定义生成选项。 ```python from PIL import Image import requests from transformers import FuyuProcessor, FuyuForCausalLM import torch # 加载模型和处理器 model_id = "adept/fuyu-8b" processor = FuyuProcessor.from_pretrained(model_id) model = FuyuForCausalLM.from_pretrained(model_id, device_map="cuda:0") # 准备输入数据 def load_image(url): return Image.open(requests.get(url, stream=True).raw) text_prompt = "Generate a detailed description for the following images.\n" urls = [ "https://huggingface.co/adept/fuyu-8b/resolve/main/bus.png", "https://huggingface.co/adept/fuyu-8b/resolve/main/cat.jpg", "https://huggingface.co/adept/fuyu-8b/resolve/main/dog.jpg" ] images = [load_image(url) for url in urls] # 处理输入数据并生成文本 inputs = processor(text=text_prompt, images=images, return_tensors="pt").to("cuda:0") # 设置生成参数 generation_config = { "max_new_tokens": 50, # 控制生成文本的最大长度 "num_beams": 4, # 使用 beam search 提高生成质量 "temperature": 0.7, # 控制生成文本的多样性 "top_p": 0.9, # 控制核采样的概率阈值 "repetition_penalty": 1.2 # 避免重复生成相同的词 } # 执行生成任务 with torch.no_grad(): generation_output = model.generate(**inputs, **generation_config) # 解码生成结果 generation_text = processor.batch_decode(generation_output, skip_special_tokens=True) # 输出结果 for i, text in enumerate(generation_text): print(f"Image {i + 1} Description: {text}") ``` 上述代码实现了对多张图片的批量处理，并且通过设置 `generation_config` 参数来控制生成文本的质量和多样性[^1]。 ### 注意事项 在运行上述代码之前，请确保已安装所有必要的依赖项。例如，Python 版本应为 3.7 或更高版本，同时需要安装 PyTorch、Pillow 和 Transformers 库[^2]。 ### 进一步优化 如果需要更复杂的处理流程，可以将上述代码拆分为多个阶段，类似于以下结构： ```python # 阶段1：加载和预处理图片 def preprocess_images(image_urls): return [load_image(url) for url in image_urls] # 阶段2：生成文本描述 def generate_captions(processor, model, text_prompt, images, generation_config): inputs = processor(text=text_prompt, images=images, return_tensors="pt").to("cuda:0") with torch.no_grad(): outputs = model.generate(**inputs, **generation_config) return processor.batch_decode(outputs, skip_special_tokens=True) # 主程序 if __name__ == "__main__": image_urls = ["https://example.com/image1.jpg", "https://example.com/image2.jpg"] images = preprocess_images(image_urls) captions = generate_captions(processor, model, text_prompt, images, generation_config) for caption in captions: print(caption) ``` 上述代码展示了如何将任务分解为更小的模块，便于维护和扩展[^3]。