Swin Transformer 是一种基于滑动窗口机制的视觉 Transformer 模型，其设计目标之一是构建具有局部注意力和层次化特征提取能力的架构。在位置编码的选择上，Swin Transformer 采用的是**相对位置编码（Relative Positional Encoding）**，而非传统的绝对位置编码（Absolute Positional Encoding）。这种选择背后有多个关键原因和技术考量。 ### 相对位置编码的设计动机 1. **滑动窗口机制与局部注意力的需求** Swin Transformer 引入了**滑动窗口注意力（Shifted Window Attention）**机制，通过将图像划分为非重叠的窗口并在相邻层之间移动窗口来建立跨窗口连接。由于每个窗口内的注意力计算是独立进行的，窗口之间的位置关系会频繁变化。如果使用绝对位置编码，则每个窗口内部的位置信息会被固定，难以适应窗口滑动带来的结构变化。而相对位置编码则关注查询（Query）与键（Key）之间的相对偏移，能够更自然地适应窗口内不同位置间的交互关系[^2]。 2. **增强模型的平移不变性** 在视觉任务中，平移不变性是一个重要的性质。相对位置编码通过对像素或块之间的相对距离建模，使得模型在面对图像平移等变换时更具鲁棒性。相反，绝对位置编码依赖于特定位置的索引，容易受到图像尺寸或裁剪方式的影响，不利于泛化能力的提升[^3]。 3. **参数效率与可扩展性** Swin Transformer 中的相对位置偏差（Relative Position Bias）通常以一个可学习的小型矩阵形式存在，并且其大小仅取决于窗口尺寸（如 $M \times M$ 的窗口对应 $2M-1 \times 2M-1$ 的偏差表），而不是输入图像的分辨率。这种设计使得模型可以在不增加额外参数的情况下处理不同分辨率的图像，提升了模型的可扩展性和训练效率[^1]。 4. **避免长程依赖中的位置混淆问题** 在全局注意力机制中，绝对位置编码可能会导致远距离元素之间的位置混淆问题。而在局部窗口中，相对位置编码可以更精确地刻画窗口内各个位置之间的相互关系，从而提升注意力机制的准确性。 ### 实现细节简述 在实现上，Swin Transformer 构建了一个相对位置偏差表（relative position bias table），其维度为 $(2M-1) \times (2M-1)$，其中 $M$ 是窗口大小。该表存储了所有可能的相对位置对应的偏置值。例如，在窗口大小为 $M=2$ 的情况下，相对位置的取值范围为 $[-1, 0, 1]$，因此偏差表的大小为 $3 \times 3$。这些偏差值会在计算注意力权重时被加到 $QK^T/\sqrt{d}$ 上，形成最终的注意力得分： $$ \text{Attention}(Q, K, V)=\text{SoftMax}\left(Q K^{T} / \sqrt{d}+B\right) V $$ 其中 $B$ 即为根据查询与键之间的相对位置查表得到的偏置项[^3]。 ### 影响与优势总结 - 提升了模型在滑动窗口机制下的灵活性和表达能力。 - 增强了对图像平移、缩放等几何变换的鲁棒性。 - 减少了对输入图像分辨率的依赖，提高了模型的可扩展性。 - 避免了绝对位置编码在局部注意力中的局限性。 综上所述，Swin Transformer 选择使用相对位置编码是出于对其局部注意力机制、模型泛化能力和参数效率的综合考虑。 ---