好的，我将为您提供一个关于 Hugging Face `diffusers` 库的详细教程，内容由浅入深，覆盖核心概念、关键组件和实际代码操作。 ### 一、Diffusers 库简介与核心概念 Hugging Face `diffusers` 库是一个用于扩散模型（Diffusion Models）的端到端工具箱，旨在让研究人员和开发者能够轻松地使用、训练和推理扩散模型[ref_3]。其设计目标包括复现如 DALL-E、Imagen 等有影响力的生成式 AI 系统。 该库的核心架构围绕三个主要组件构建： | 组件 | 功能描述 | 类比 | | :--- | :--- | :--- | | **Pipelines** | 高层API，封装了完整的生成流程，用户只需几行代码即可生成图像、音频等。 | 像一台“自动咖啡机”，放入原料（提示词），按下按钮，得到成品。 | | **Models** | 定义了扩散模型的核心网络架构，如 UNet、VAE 等，是训练和微调的对象。 | 咖啡机内部的“研磨和萃取系统”，负责核心的生成逻辑。 | | **Schedulers** | 管理扩散过程中的噪声添加与去除（去噪）策略，控制生成的质量和速度。 | 咖啡机的“控制程序”，决定了水温、压力、时间等参数。 | ### 二、环境安装与快速入门 首先，安装 `diffusers` 库及其常用依赖。 ```bash pip install --upgrade diffusers transformers accelerate torch ``` #### 2.1 使用 Pipeline 快速生成图像 Pipeline 是最高层、最易用的接口。以下示例展示如何使用 Stable Diffusion 文本到图像管道。 ```python # 示例1：使用预训练模型生成第一张图像 from diffusers import StableDiffusionPipeline import torch # 1. 加载预训练管道。首次运行会从 Hugging Face Hub 下载模型权重。 # 使用 `torch_dtype=torch.float16` 可以显著减少显存占用并加速推理。 pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16 ).to("cuda") # 将管道移动到 GPU # 2. 使用提示词生成图像 prompt = "A photorealistic portrait of an astronaut riding a horse on Mars" # `num_inference_steps`: 去噪步数，越多通常质量越高，但耗时越长。 # `guidance_scale`: 指导尺度，值越大越遵循提示词，但可能降低多样性。 image = pipe(prompt, num_inference_steps=50, guidance_scale=7.5).images[0] # 3. 保存图像 image.save("astronaut_on_mars.png") print("图像已生成并保存！") ``` ### 三、深入核心组件 #### 3.1 理解 Schedulers（调度器） 调度器定义了如何在前向过程中逐步添加噪声，以及在逆向（生成）过程中如何一步步去除噪声。不同的调度器在速度和质量上有所权衡。 ```python # 示例2：探索不同的调度器 from diffusers import DDPMScheduler, DDIMScheduler, PNDMScheduler import torch # 初始化一个 DDPM 调度器，这是最经典的扩散调度器。 # `num_train_timesteps` 定义了训练和推理的总时间步数。 noise_scheduler = DDPMScheduler(num_train_timesteps=1000) # 模拟前向过程：给一张干净图片加噪 clean_image = torch.randn(1, 3, 64, 64) # 模拟一张64x64的图片 noise = torch.randn_like(clean_image) timesteps = torch.tensor([500]) # 选择在第500步添加噪声 # 使用调度器的 `add_noise` 方法 noisy_image = noise_scheduler.add_noise(clean_image, noise, timesteps) print(f"干净图像形状: {clean_image.shape}, 加噪后形状: {noisy_image.shape}") # 输出类似于：干净图像形状: torch.Size([1, 3, 64, 64]), 加噪后形状: torch.Size([1, 3, 64, 64]) # 更换为更快的调度器，如 DDIM ddim_scheduler = DDIMScheduler.from_config(noise_scheduler.config) # 从DDPM配置继承 # DDIM 可以用更少的步数（如20-50步）达到不错的效果，而DDPM通常需要1000步。 ``` #### 3.2 理解 Models（模型） 模型是学习数据分布的核心。在 Stable Diffusion 中，核心模型是 UNet（负责去噪）和 VAE（负责在图像像素空间和潜在空间之间转换）。 ```python # 示例3：单独加载和使用 UNet 模型 from diffusers import UNet2DConditionModel import torch # 加载预训练的 UNet（通常与特定的文生图模型配套） unet = UNet2DConditionModel.from_pretrained( "runwayml/stable-diffusion-v1-5", subfolder="unet", torch_dtype=torch.float16 ).to("cuda") # 模拟一次 UNet 的前向传播 # 假设我们有一个带噪的潜在表示、时间步和文本编码 latent_noisy = torch.randn(1, 4, 64, 80).to("cuda", torch.float16) # [batch, channels, height, width] timestep = torch.tensor([10]).to("cuda") encoder_hidden_states = torch.randn(1, 77, 768).to("cuda", torch.float16) # 文本编码 with torch.no_grad(): noise_pred = unet(latent_noisy, timestep, encoder_hidden_states).sample print(f"UNet 预测的噪声形状: {noise_pred.shape}") # 输出：UNet 预测的噪声形状: torch.Size([1, 4, 64, 80]) ``` ### 四、从推理到训练 #### 4.1 自定义 Pipeline 的生成过程 通过解构 Pipeline，我们可以更精细地控制生成流程。 ```python # 示例4：手动执行 Stable Diffusion 的生成步骤 from diffusers import StableDiffusionPipeline, DDIMScheduler import torch pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda") pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config) # 替换为DDIM调度器 prompt = ["A beautiful sunset over mountains"] height = width = 512 num_inference_steps = 50 # 1. 编码文本 text_inputs = pipe.tokenizer(prompt, padding="max_length", max_length=pipe.tokenizer.model_max_length, truncation=True, return_tensors="pt") text_embeddings = pipe.text_encoder(text_inputs.input_ids.to(pipe.device))[0] # 2. 准备初始随机噪声（在潜在空间） latents = torch.randn((1, pipe.unet.config.in_channels, height // 8, width // 8), device=pipe.device, dtype=torch.float16) # 3. 设置调度器 pipe.scheduler.set_timesteps(num_inference_steps, device=pipe.device) # 4. 循环去噪 for i, t in enumerate(pipe.scheduler.timesteps): # 扩展潜在变量以进行 classifier-free guidance latent_model_input = torch.cat([latents] * 2) latent_model_input = pipe.scheduler.scale_model_input(latent_model_input, t) # 预测噪声 with torch.no_grad(): noise_pred = pipe.unet(latent_model_input, t, encoder_hidden_states=text_embeddings).sample # 执行 guidance noise_pred_uncond, noise_pred_text = noise_pred.chunk(2) noise_pred = noise_pred_uncond + 7.5 * (noise_pred_text - noise_pred_uncond) # 计算上一步的样本 x_t -> x_{t-1} latents = pipe.scheduler.step(noise_pred, t, latents).prev_sample # 5. 使用 VAE 解码器将潜在表示转换回图像 with torch.no_grad(): image = pipe.vae.decode(latents / pipe.vae.config.scaling_factor).sample image = pipe.image_processor.postprocess(image, output_type="pil")[0] image.save("custom_generation.png") ``` #### 4.2 数据准备与训练基础 `diffusers` 也支持训练和微调扩散模型。数据准备是关键的第一步[ref_2]。 ```python # 示例5：创建简单的数据集（以无条件图像生成为例） from torchvision import transforms from torch.utils.data import DataLoader import torch from PIL import Image import os # 假设所有图片都在一个文件夹中，且尺寸统一（如128x128） class ImageDataset(torch.utils.data.Dataset): def __init__(self, image_dir, transform=None, size=128): self.image_dir = image_dir self.image_paths = [os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.endswith(('.png', '.jpg', '.jpeg'))] if transform is None: self.transform = transforms.Compose([ transforms.Resize((size, size)), transforms.ToTensor(), # 转换为 [C, H, W]， 值范围 [0, 1] transforms.Normalize([0.5], [0.5]) # 归一化到 [-1, 1] ]) else: self.transform = transform def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img = Image.open(self.image_paths[idx]).convert("RGB") return self.transform(img) # 创建数据集和数据加载器 dataset = ImageDataset("./my_images/") dataloader = DataLoader(dataset, batch_size=4, shuffle=True) # 检查一个批次的数据 for batch in dataloader: print(f"批次形状: {batch.shape}") # 例如: torch.Size([4, 3, 128, 128]) print(f"像素值范围: [{batch.min():.3f}, {batch.max():.3f}]") # 应接近 [-1, 1] break ``` #### 4.3 简化的训练循环框架 以下是训练一个去噪模型（如 UNet）的核心循环框架。 ```python # 示例6：训练循环的核心步骤（伪代码框架） import torch.nn.functional as F from diffusers import DDPMScheduler # 初始化模型、优化器、调度器 model = UNet2DModel(...) # 一个无条件图像生成的 UNet optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) noise_scheduler = DDPMScheduler(num_train_timesteps=1000) num_epochs = 100 for epoch in range(num_epochs): for batch in dataloader: clean_images = batch.to(device) # 1. 采样随机时间步和噪声 noise = torch.randn_like(clean_images) timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (clean_images.shape[0],), device=device).long() # 2. 根据时间步向图像添加噪声（前向过程） noisy_images = noise_scheduler.add_noise(clean_images, noise, timesteps) # 3. 模型预测噪声 noise_pred = model(noisy_images, timesteps).sample # 4. 计算损失（均方误差） loss = F.mse_loss(noise_pred, noise) # 5. 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f"Epoch {epoch}, Loss: {loss.item():.4f}") ``` ### 五、总结与进阶方向 通过以上步骤，您已经掌握了 `diffusers` 库从基础使用到核心原理，再到初步训练的关键知识。整个学习路径可以概括为：**使用 Pipeline 快速体验 → 理解调度器、模型等组件 → 拆解生成流程进行自定义控制 → 准备数据并了解训练循环**。 **进阶方向建议：** 1. **微调模型**：使用 `diffusers` 的 `Trainer` API 或自定义脚本，在特定风格或对象的数据集上微调 Stable Diffusion（如 DreamBooth、LoRA 方法）。 2. **探索不同任务**：尝试 `diffusers` 支持的其他任务管道，如图像修复（Inpainting）、图像到图像转换、超分辨率、音频生成等。 3. **研究新架构**：深入了解并尝试库中提供的不同模型架构，如 ControlNet（用于空间控制）、Kandinsky、DeepFloyd IF 等。 4. **优化与部署**：学习使用 `torch.compile`、`xFormers` 进行推理加速，以及如何将模型导出为 `ONNX` 或 `TensorRT` 格式用于生产环境。