### Biformer注意力机制的原理 Biformer是一种基于双分支结构设计的高效Transformer模型，其核心在于通过分解全局自注意力机制来降低计算复杂度并提升性能。具体来说，Biformer引入了一种称为 **Bi-Level Attention** 的方法，该方法将标准的自注意力操作拆分为两个部分：局部窗口内的注意力（Local Window-based Attention）以及跨通道的全局注意力（Global Channel-wise Attention）。这种分离的设计使得模型能够在保持较高表达能力的同时显著减少计算开销。 #### 局部窗口内的注意力 (Local Window-based Attention) 为了处理图像数据中的空间依赖关系，Biformer采用了类似于Swin Transformer的方法，在固定大小的非重叠窗口内执行自注意力运算。这种方法可以有效捕获短距离的空间特征交互，并且由于窗口尺寸较小，能够大幅削减计算量和内存需求[^2]。 ```python def local_window_attention(query, key, value, window_size): # 将输入划分为多个不重叠的小窗口 query_windows = split_into_windows(query, window_size) key_windows = split_into_windows(key, window_size) value_windows = split_into_windows(value, window_size) # 计算每个窗口内部的注意力权重 attn_weights = softmax((query_windows @ key_windows.transpose(-2, -1)) / math.sqrt(d_k)) # 应用注意力权重到value上得到输出 output = attn_weights @ value_windows return merge_windows(output, original_shape=query.shape) ``` #### 跨通道的全局注意力 (Global Channel-wise Attention) 除了关注局部区域的信息外，Biformer还特别强调不同通道之间的关联性。为此，它定义了一个轻量化版本的全局注意力模块，仅针对特征图的不同维度进行建模而不涉及像素级的位置编码。这种方式不仅简化了实现过程，而且有助于提取高层次语义信息[^3]。 ```python def global_channel_attention(x): b, c, h, w = x.size() # 对于每一个位置，计算所有通道上的加权平均值作为上下文向量 context_vector = torch.mean(x, dim=[2, 3], keepdim=True).view(b, c, 1, 1) # 使用MLP层进一步增强表示能力 mlp_output = nn.Sequential( nn.Linear(c, c // r), nn.ReLU(), nn.Linear(c // r, c), nn.Sigmoid() )(context_vector.squeeze()) scaled_x = x * mlp_output.view(b, c, 1, 1) return scaled_x ``` 两种类型的注意力被组合起来形成完整的Biformer架构，从而实现了效率与效果的良好平衡。值得注意的是，尽管这里描述的内容主要围绕视觉任务展开讨论，但实际上类似的思路也可以推广应用于其他领域如自然语言处理等场景下[^4]。