Transformer模型，最初为自然语言处理（NLP）设计，凭借其强大的**自注意力机制**（Self-Attention Mechanism）和并行计算能力，已成功扩展到计算机视觉（CV）领域，并引发了该领域的范式变革[ref_1][ref_6]。其核心在于通过全局建模能力，突破了传统卷积神经网络（CNN）在感受野和长距离依赖关系建模上的局限[ref_4]。 ### 一、核心原理：从NLP到CV的迁移 Transformer在CV中的应用，关键在于将图像数据转化为适合其处理的序列形式。主要方法包括： 1. **图像分块序列化**：将输入图像划分为固定大小的非重叠图像块（Patches），每个块展平为一个向量，再通过线性投影形成“词嵌入”（Patch Embedding）。这些嵌入向量加上位置编码（Positional Encoding）后，便构成了一个可以输入Transformer编码器的序列[ref_1][ref_6]。 2. **自注意力机制**：模型通过计算序列中所有元素（图像块）之间的注意力权重，来捕捉全局上下文信息，从而理解图像不同部分之间的复杂关系[ref_2][ref_6]。 ### 二、视觉Transformer的主要应用方向与代表性模型 视觉Transformer的应用已覆盖从低级到高级的几乎所有视觉任务[ref_4]。 | 应用方向 | 核心任务 | 代表性模型/方法 | 关键特点 | | :--- | :--- | :--- | :--- | | **图像分类** | 识别图像所属类别 | **Vision Transformer (ViT)** | 开山之作，将图像分块后直接输入标准Transformer编码器，证明了纯Transformer结构在图像分类上的有效性[ref_4][ref_5]。 | | **目标检测** | 定位并识别图像中的物体 | **DETR** | 端到端检测框架，用Transformer编码器-解码器结构替代了传统的区域提议网络（RPN）和非极大值抑制（NMS），直接输出一组目标预测[ref_1]。 | | | | **Deformable DETR** | 针对DETR计算量大、收敛慢的问题，引入可变形注意力机制，只关注参考点周围的一小组关键采样点，大幅提升效率[ref_1]。 | | **图像分割** | 为图像的每个像素分配类别标签 | **SETR, Segmenter** | 将分割任务视为序列到序列的预测问题，利用Transformer编码器提取的全局特征，通过解码器生成像素级分割图[ref_4]。 | | **图像生成** | 从文本描述或随机噪声生成图像 | **DALL-E, Stable Diffusion** | 基于Transformer或将其作为核心组件（如Stable Diffusion中的U-Net包含注意力层），实现跨模态理解和高质量图像合成[ref_5][ref_6]。 | | **低级视觉任务** | 提升图像质量（超分、去噪等） | **IPT, TTSR** | 利用Transformer强大的序列建模能力，恢复图像的细节纹理和结构信息[ref_2][ref_4]。 | | **视频理解** | 动作识别、视频修复、目标跟踪 | **TimeSformer, STTN** | 在空间自注意力的基础上，引入时间维度的注意力机制，以联合建模视频的时空信息[ref_2][ref_4]。 | ### 三、技术优势与挑战 #### 优势： 1. **全局建模能力**：自注意力机制允许模型直接计算图像中任意两个区域的关系，无论其距离多远，从而更有效地捕捉长距离依赖和全局上下文[ref_4][ref_6]。 2. **更强的表示能力**：在大规模数据集上预训练后，视觉Transformer通常表现出比同规模CNN更强的泛化能力和表征学习能力[ref_4]。 3. **架构统一**：为不同的视觉任务（分类、检测、分割）提供了统一的骨干网络框架，简化了模型设计流程[ref_5]。 #### 挑战与改进方向： 1. **计算与内存开销**：自注意力的计算复杂度与序列长度的平方成正比，对于高分辨率图像处理成本高昂。解决方案包括**局部注意力**、**分层结构**（如Swin Transformer）和**稀疏注意力**（如Deformable DETR）[ref_1][ref_4]。 2. **数据饥渴**：纯Transformer模型通常需要海量数据（如JFT-300M）进行预训练才能达到最佳性能。解决方案包括**自监督预训练**（如MAE, DINO）和**与CNN的混合架构**（如ConvNeXt）[ref_4]。 3. **位置信息敏感性**：标准的位置编码在处理不同分辨率图像时可能泛化不佳。研究引入了**相对位置偏置**、**条件位置编码**等更灵活的位置信息注入方式[ref_4]。 ### 四、代码示例：Vision Transformer (ViT) 核心组件 以下是一个简化的PyTorch代码片段，展示ViT中图像分块嵌入和Transformer编码器的核心结构： ```python import torch import torch.nn as nn import torch.nn.functional as F class PatchEmbedding(nn.Module): """ 将图像分割为块并生成嵌入向量 """ def __init__(self, img_size=224, patch_size=16, in_channels=3, embed_dim=768): super().__init__() self.img_size = img_size self.patch_size = patch_size self.num_patches = (img_size // patch_size) ** 2 # 使用卷积层实现分块和线性投影 self.projection = nn.Conv2d(in_channels, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): # x shape: [B, C, H, W] x = self.projection(x) # [B, embed_dim, num_patches_h, num_patches_w] x = x.flatten(2) # 展平空间维度 [B, embed_dim, num_patches] x = x.transpose(1, 2) # 调整维度为 [B, num_patches, embed_dim] return x class TransformerEncoderLayer(nn.Module): """ Transformer编码器单层（包含多头自注意力和前馈网络） """ def __init__(self, embed_dim=768, num_heads=8, mlp_ratio=4.0, dropout=0.1): super().__init__() self.norm1 = nn.LayerNorm(embed_dim) self.attn = nn.MultiheadAttention(embed_dim, num_heads, dropout=dropout, batch_first=True) self.norm2 = nn.LayerNorm(embed_dim) self.mlp = nn.Sequential( nn.Linear(embed_dim, int(embed_dim * mlp_ratio)), nn.GELU(), nn.Dropout(dropout), nn.Linear(int(embed_dim * mlp_ratio), embed_dim), nn.Dropout(dropout) ) def forward(self, src): # 多头自注意力（带残差连接） src2 = self.norm1(src) src2, _ = self.attn(src2, src2, src2) src = src + src2 # 前馈网络（带残差连接） src2 = self.norm2(src) src2 = self.mlp(src2) src = src + src2 return src # 示例：构建一个简易的ViT分类头之前的特征提取部分 class SimpleViTBackbone(nn.Module): def __init__(self, img_size=224, patch_size=16, in_channels=3, embed_dim=768, depth=12, num_heads=12): super().__init__() self.patch_embed = PatchEmbedding(img_size, patch_size, in_channels, embed_dim) num_patches = self.patch_embed.num_patches self.cls_token = nn.Parameter(torch.randn(1, 1, embed_dim)) # 分类令牌 self.pos_embed = nn.Parameter(torch.randn(1, num_patches + 1, embed_dim)) # 位置编码（+1 for cls_token） self.encoder_layers = nn.ModuleList([TransformerEncoderLayer(embed_dim, num_heads) for _ in range(depth)]) self.norm = nn.LayerNorm(embed_dim) def forward(self, x): B = x.shape[0] # 1. 生成图像块嵌入 x = self.patch_embed(x) # [B, num_patches, embed_dim] # 2. 添加分类令牌和位置编码 cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) # [B, num_patches+1, embed_dim] x = x + self.pos_embed # 3. 通过Transformer编码器层 for layer in self.encoder_layers: x = layer(x) # 4. 对序列进行层归一化 x = self.norm(x) # 5. 提取分类令牌对应的特征（用于分类头） cls_feature = x[:, 0] # [B, embed_dim] return cls_feature ``` 总而言之，Transformer通过其独特的注意力机制为计算机视觉带来了全局建模的新范式，在图像分类、目标检测、图像生成等多个核心任务上取得了突破性进展。尽管面临计算复杂度和数据需求的挑战，但通过持续的结构优化（如分层设计、混合架构）和训练策略改进（如自监督学习），视觉Transformer已成为推动CV领域发展的核心动力之一[ref_2][ref_4][ref_5]。