### Transformer 与 Diffusion Models 的结合研究 近年来，Transformer 和 Diffusion Models 的结合成为生成模型领域的重要研究方向。传统扩散模型（Diffusion Models）主要依赖卷积 U-Net 架构作为其主干网络，但随着 Vision Transformer（ViT）的发展，研究人员开始探索将 Transformer 应用于扩散模型中以提升生成性能。 #### DiT: Scalable Diffusion Models with Transformers DiT 是由 UC Berkeley 在 2022 年提出的一项重要工作，它首次系统性地将 Transformer 引入扩散模型架构中[^1]。该论文提出了 Diffusion Transformers（DiTs），通过替换传统的 U-Net 主干为基于 ViT 的结构，实现了更强的可扩展性和更优的生成效果。DiT 模型利用 Latent Diffusion Models (LDM)、Classifier-free guidance 和 Vision Transformer 结合的方式，在 ImageNet 上达到了 2.27 FID 的优异结果。这一工作也为后续如 Sora 等视频生成模型奠定了基础。 DiT 的核心设计包括三种条件嵌入方式：adaLN（或 adaLN-Zero）、cross-attention 和 In-Context 方法，这些方法使得模型能够灵活地处理不同的生成任务。此外，DiT 展示了良好的 scaling law，即模型复杂度（以 Gflops 衡量）与生成质量（以 FID 衡量）之间存在强相关性[^1]。 #### 其他相关研究 除了 DiT 外，还有多个研究尝试将 Transformer 引入扩散模型框架： - **Latent Diffusion Models with Transformers**：这类工作通常采用预训练的 VAE 将图像编码到潜在空间，并在潜在空间上应用 Transformer 来建模扩散过程。这种策略不仅降低了计算复杂度，还提升了生成质量。 - **U-ViT**：U-ViT 提出了一种混合架构，将 U-Net 的局部感受野与 ViT 的全局注意力机制相结合，进一步优化了扩散模型的性能。 - **Diffusion Transformer (DiffT)**：DiffT 探索了如何在扩散过程中使用 Transformer 的自注意力机制，以增强模型对长距离依赖关系的建模能力。 #### 示例代码（PyTorch 风格） 以下是一个简化的 Diffusion Transformer 块的伪代码实现： ```python import torch import torch.nn as nn class DiffusionTransformerBlock(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = nn.MultiheadAttention(dim, num_heads) self.norm2 = nn.LayerNorm(dim) self.mlp = nn.Sequential( nn.Linear(dim, dim * 4), nn.GELU(), nn.Linear(dim * 4, dim) ) self.adaLN_modulation = nn.Sequential( nn.SiLU(), nn.Linear(dim, 6 * dim) ) def forward(self, x, t): shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp = self.adaLN_modulation(t).chunk(6, dim=1) x = x + gate_msa.unsqueeze(1) * self.attn( self.norm1(x), self.norm1(x), self.norm1(x) )[0] x = x + gate_mlp.unsqueeze(1) * self.mlp(self.norm2(x)) return x ``` 该实现展示了 DiT 中的核心模块之一，结合了 adaLN 调制和多头注意力机制。 --- ###