### Vision Transformer 中的图像切割与 Patch Embedding 在 Vision Transformer (ViT) 架构中，输入图像被划分为多个固定大小的小块（patches），这些小块随后会被线性映射到预定义维度的空间内。此过程通常被称为 patch embedding。 对于给定的一张图片，在将其送入 ViT 前需先完成如下操作： #### 划分 Image Patches 假设原始图像是 \(H \times W\) 的尺寸，并且设定每个 patch 大小为 \(P \times P\) ，那么整个图像可以被均匀切分成若干不重叠的小方块。如果采用 PyTorch 来处理，则可以通过 `nn.Unfold` 或者更常见的做法是利用 `nn.Conv2d` 函数来高效地执行这一任务[^4]。 ```python import torch.nn as nn class PatchEmbed(nn.Module): """ 将图像转换成 patches 并嵌入 """ def __init__(self, img_size=(224, 224), patch_size=16, in_chans=3, embed_dim=768): super().__init__() # 计算网格尺寸以及总的patch数量 h_grid = w_grid = img_size[0] // patch_size num_patches = h_grid * w_grid self.patch_embed = nn.Conv2d( in_channels=in_chans, out_channels=embed_dim, kernel_size=patch_size, stride=patch_size ) self.flatten = nn.Flatten(start_dim=2) def forward(self, x): B, C, H, W = x.shape x = self.patch_embed(x).transpose(1, 3) x = self.flatten(x).transpose(1, 2) return x ``` 上述代码展示了如何通过二维卷积的方式快速有效地获取图像中的各个补丁并对其进行编码。这里使用了 `Conv2d` 层作为核心组件，其中卷积核大小等于所选的 patch size，而步幅也设为了相同的值以确保不会有任何像素上的重复采样。 接着，得到的结果是一个形状类似于 `(batch_size, channels, height/stride, width/stride)` 的四维张量；再经由展平和平移变换后变为适合后续自注意力机制使用的序列形式的数据结构[(B,N,C)]，这里的 N 表示的是 token 数目也就是之前提到过的 `num_patches`。 最后值得注意的是，在实际应用当中还需要考虑位置编码(positional encoding)，它用于向模型提供关于 tokens 排列顺序的信息，这对于维持空间关系非常重要[^3]。