### CrossFormer交叉窗口多头自注意力机制 #### 3.1 背景介绍 为了应对传统全局自注意力机制带来的高计算复杂度和内存消耗问题，CrossFormer采用了一种创新性的局部化策略——交叉窗口多头自注意力机制。这种设计不仅保留了Transformer捕捉长程依赖的能力，还有效降低了资源开销。 #### 3.2 工作原理 在具体实现方面，CrossFormer将输入特征图划分为多个不重叠的小窗口，并在这些建立内部以及跨窗口间的交互关系： - **窗口划分**：首先按照预定义大小对特征图进行均匀分割得到若干子区域； - **窗口内自注意力**：对于每一个独立窗口内的token之间执行标准的自注意力运算[^4]； - **交叉窗口连接**：不同于仅限于单个窗口的操作，CrossFormer特别强调相邻窗口间的信息交流。通过精心设计的稀疏模式，允许部分选定位置跨越边界与其他窗口建立联系，形成更广泛的上下文感知能力[^2]。 此过程可以形式化描述如下： 设$X \in R^{H\times W \times C}$为给定分辨率下的特征映射，则经过重新排列后的矩阵$\tilde{X}=[\tilde{x}_1,\cdots ,\tilde{x}_{n}]^\top $代表所有窗口化的tokens集合，其中$n=\frac{(HW)}{\omega ^2}, (\omega : window size)$。接着应用线性变换获取查询($Q$)、键值($K$) 和价值 ($V$)，最后经由softmax函数加权求和获得更新后的表示。 ```python def cross_window_multihead_attention(x, num_heads=8, window_size=7): B, H, W, C = x.shape # Step 1: Window partitioning windows = rearrange(x, 'b (h p1) (w p2) c -> b h w (p1 p2) c', p1=window_size, p2=window_size) # Step 2: Within-window self-attention qkv = nn.Linear(C, C * 3)(windows).chunk(3, dim=-1) # Multi-head split q, k, v = map(lambda t: rearrange(t, '... n (h d)-> ... h n d', h=num_heads), qkv) dots = torch.einsum('bhwdi,bhwjd->bhwij', q, k) * (C // num_heads)**(-0.5) attn = F.softmax(dots, dim=-1) out = torch.einsum('bhwij,bhwjd->bhwi', attn, v) # Merge heads & linear projection out = rearrange(out, '... h n d -> ... n (h d)') # Step 3: Sparse connections between adjacent windows shifted_out = shift_windows(out, window_size) final_output = nn.Linear(C, C)(shifted_out) return final_output ``` 上述代码展示了如何在一个具体的Python环境中实现这一算法逻辑。值得注意的是，实际部署时还需考虑更多细节优化以提高性能表现。