### Patch Merging 和 Patch Partition 的概念 #### Patch Merging Patch Merging 是一种用于减少空间维度并增加通道数的技术。具体来说，在 Swin Transformer 中，除了 Stage 1 外的每个阶段都会先经过一个 Patch Merging 层来进行下采样操作[^1]。 对于一个4x4大小的单通道特征图（feature map），Patch Merging 将每2x2个相邻像素划分为一个 patch，并将这些 patches 在深度方向上拼接起来形成新的 feature maps。之后再通过 Layer Normalization (LayerNorm) 层处理，最终利用全连接层调整 feature map 的深度至原来的一半[C/2]。因此，经此过程后的 feature map 高度和宽度均减半而深度加倍。 ```python import torch.nn as nn class PatchMerging(nn.Module): def __init__(self, dim): super().__init__() self.norm = nn.LayerNorm(dim * 4) self.reduction = nn.Linear(dim * 4, dim * 2) def forward(self, x): # 假设输入形状为 B H W C B, H, W, C = x.shape # 划分patches 并重组 x0 = x[:, ::2, ::2, :] # 左上角 x1 = x[:, 1::2, ::2, :] # 右上角 x2 = x[:, ::2, 1::2, :] # 左下角 x3 = x[:, 1::2, 1::2, :]# 右下角 x = torch.cat([x0, x1, x2, x3], -1) # concat 在最后一个维度 # 归一化与降维 x = self.norm(x) x = self.reduction(x) return x ``` #### Patch Partition 相比之下，Patch Partition 主要是指将整个图像或者特征图按照固定大小划分成多个不重叠的小区域的过程。例如，在 Swin Transformer 实现中提到 window_partition 函数就是用来把特征图分割成 num_patch 数量的部分，其中每一部分都有固定的尺寸(patch_size)[^2]。 这种分区方式有助于局部建模以及后续窗口内的自注意力机制计算效率提升。它不会改变原始数据的空间分辨率或通道数量；而是为了更好地组织数据结构以便于更高效的模型训练。 ### 应用场景对比 - **Patch Merging**: 更适合应用于需要逐步降低空间解析度的同时提高表达能力的任务当中，比如多尺度特征提取、目标检测等。 - **Patch Partition**: 被广泛采用在各种视觉Transformer架构里作为预处理步骤之一，旨在简化长距离依赖关系的学习难度，适用于任何涉及大规模矩阵运算的地方来加速收敛速度。