### VIT-B-16 模型架构 Vision Transformer (ViT) 的基本思想是将输入图像分割成固定大小的补丁(patch)，然后通过线性投影转换为向量序列，这些向量随后被送入多层变压器编码器中处理。对于特定的 ViT-B-16 架构而言： - 输入图像是按照 16×16 像素尺寸划分成多个不重叠的小块，每个小块会被展平并映射到 D 维度的空间内形成 token[^2]。 - 这些 tokens 被附加了一个可学习的位置嵌入(position embedding)，用于保留空间信息。 - 接着，整个序列会传递给一系列基于自注意力机制(self-attention mechanism)构建的标准变换器层(stack of transformer layers)。 具体来说，在 ViT-B-16 中包含了 12 层变换器，每层拥有 768 隐藏单元以及 12 头自我注意(heads self-attention)组件；此外还有一个由单个全连接前馈网络组成的 MLP 子模块，其扩展因子为四倍于隐藏维度(即宽度达到 3072)。 最后，为了完成分类任务，会在所有 patch embeddings 上加上一个额外的 class token 并将其作为最终表示的一部分传送到顶层的 softmax 分类头之前经过一层归一化操作。 ```python class VisionTransformer(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., **kwargs): super().__init__() # 计算patch数量 num_patches = (img_size // patch_size)**2 # 定义核心组件 self.patch_embed = PatchEmbed(img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim) self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed = nn.Parameter(torch.zeros(1, num_patches + 1, embed_dim)) self.blocks = nn.Sequential(*[ Block(dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio) for _ in range(depth)]) self.norm = nn.LayerNorm(embed_dim) def forward_features(self, x): B = x.shape[0] x = self.patch_embed(x).flatten(2).transpose(1, 2) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) x += self.pos_embed x = self.blocks(x) x = self.norm(x) return x[:, 0] def forward(self, x): x = self.forward_features(x) return x ```