### Fuyu-8B Python 代码示例 以下是一个完整的 Python 代码示例，用于加载和使用 Fuyu-8B 模型生成图像描述。此代码基于提供的参考引用进行了详细说明。 ```python from PIL import Image import requests from transformers import FuyuProcessor, FuyuForCausalLM # 加载模型和处理器 model_id = "adept/fuyu-8b" processor = FuyuProcessor.from_pretrained(model_id) model = FuyuForCausalLM.from_pretrained(model_id, device_map="cuda:0") # 确保 GPU 可用[^2] # 准备输入数据 text_prompt = "Generate a coco-style caption.\n" # 提示文本 url = "https://huggingface.co/adept/fuyu-8b/resolve/main/bus.png" # 示例图像 URL image = Image.open(requests.get(url, stream=True).raw) # 下载并加载图像 # 处理输入数据并生成文本 inputs = processor(text=text_prompt, images=image, return_tensors="pt").to("cuda:0") # 数据预处理 generation_output = model.generate(**inputs, max_new_tokens=7) # 生成输出 generation_text = processor.batch_decode(generation_output[:, -7:], skip_special_tokens=True) # 解码生成的文本 print(generation_text) # 输出生成的图像描述 ``` 上述代码展示了如何加载 Fuyu-8B 模型，并通过给定的图像生成描述性文本。其中，`max_new_tokens=7` 参数控制生成的标记数量，可以根据实际需求调整[^1]。 ### 环境配置与依赖项 在运行上述代码之前，请确保已安装以下依赖项： - **Python**：建议使用 Python 3.7 或更高版本。 - **PyTorch**：确保安装与 CUDA 兼容的版本。 - **Pillow**：用于图像处理。 - **Transformers**：用于加载和运行模型。 可以通过以下命令安装必要的库： ```bash pip install torch torchvision transformers pillow ``` 如果需要进一步优化性能，可以参考硬件资源要求，推荐使用高性能 GPU 来加速推理过程[^3]。 ### 注意事项 在实际使用中，可能会遇到以下问题： 1. **网络连接错误**：确保设备已连接到互联网，并且 API 地址可访问。 2. **API 令牌错误**：如果使用外部服务（如 Replicate），请确保提供了正确的 API 令牌。 3. **图像格式错误**：Fuyu-8B 主要支持 JPG 格式的图像 URL，其他格式可能引发错误[^5]。