### Biformer注意力机制的原理及数学公式推导 Biformer是一种高效的Transformer变体，其核心设计理念是通过分解全局自注意力机制来降低计算复杂度。它采用双分支结构（Bi-Level Attention），分别处理局部和全局信息，从而在保持高性能的同时减少计算成本。 #### 双分支注意力机制概述 Biformer的核心在于将标准自注意力机制拆分为两部分： 1. **局部窗口内的注意力（Local Window-based Attention）** 2. **跨通道的全局注意力（Global Channel-wise Attention）** 这两种注意力方式共同作用，既捕捉了局部细节又保留了全局语义信息。 --- ### 局部窗口内的注意力（Local Window-based Attention） 局部窗口内的注意力借鉴了Swin Transformer的思想，即将输入特征图分割成若干个固定大小的非重叠窗口，并在每个窗口内独立计算自注意力。假设输入张量 \( X \in \mathbb{R}^{H \times W \times C} \)，其中 \( H, W \) 是高度和宽度，\( C \) 是通道数，则局部窗口内的注意力可以形式化如下： - 首先，将输入划分成多个窗口 \( P_i \)，每个窗口大小为 \( M \times N \)，即： \[ P_i = \text{split}(X, M, N)[i] \] - 接下来，在每个窗口内计算自注意力矩阵 \( A_{\text{local}} \)： \[ Q = \text{Linear}(P_i), K = \text{Linear}(P_i), V = \text{Linear}(P_i) \] \[ A_{\text{local}}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 \( d_k \) 表示键向量的维度[^5]。 - 最后，将所有窗口的结果重新拼接回原始形状。 此过程可以通过以下伪代码实现： ```python def local_window_attention(X, window_size=(M, N)): # 划分窗口 windows = split_into_windows(X, window_size=window_size) # 初始化查询、键、值 Q = linear_transform(windows) K = linear_transform(windows) V = linear_transform(windows) # 计算注意力分数 attention_scores = torch.softmax(Q @ K.T / math.sqrt(d_k), dim=-1) # 加权求和得到输出 output = attention_scores @ V # 合并窗口返回原形状 return merge_windows(output, original_shape=X.shape) ``` --- ### 跨通道的全局注意力（Global Channel-wise Attention） 跨通道的全局注意力旨在建模不同通道之间的关系，而无需考虑像素级别的位置信息。这一设计显著降低了计算复杂度，同时仍然能捕获高层语义特征。 给定输入张量 \( X \in \mathbb{R}^{H \times W \times C} \)，跨通道的全局注意力可表示为： - 首先沿空间维度（高度和宽度）取均值以获得每条通道的统计特性： \[ S_c = \text{mean}(X, axis=[1, 2]) \quad (\text{shape}: [C]) \] - 然后通过一个多层感知机（MLP）对这些统计数据进行变换，生成权重向量 \( W_c \)： \[ W_c = \sigma(\text{MLP}(S_c)) \] 其中 \( \sigma \) 表示激活函数（通常为ReLU或Sigmoid）[^6]。 - 最终，将权重向量乘回到原始特征图上以调整各通道的重要性： \[ Y = X \odot W_c \] 以下是对应的Python实现： ```python def global_channel_attention(X): batch_size, channels, height, width = X.size() # 沿空间维度取均值 channel_stats = torch.mean(X, dim=[2, 3]).unsqueeze(-1).unsqueeze(-1) # shape: [batch_size, channels, 1, 1] # MLP层用于增强表示能力 mlp_output = nn.Sequential( nn.Conv2d(channels, channels // reduction_ratio, kernel_size=1), nn.ReLU(), nn.Conv2d(channels // reduction_ratio, channels, kernel_size=1), nn.Sigmoid() )(channel_stats) # 权重缩放至原始特征图 weighted_X = X * mlp_output.expand_as(X) return weighted_X ``` --- ### 数学公式的总结与对比分析 | 类型 | 输入 | 输出 | 复杂度 | |------------------------|--------------------|----------------------------|--------------| | Local Window Attention | \( X \in \mathbb{R}^{H \times W \times C} \) | \( Y \in \mathbb{R}^{H \times W \times C} \) | \( O(MN \cdot C^2) \) | | Global Channel Attention | \( X \in \mathbb{R}^{H \times W \times C} \) | \( Y \in \mathbb{R}^{H \times W \times C} \) | \( O(HW \cdot C) \) | 可以看出，局部窗口内的注意力受限于窗口大小 \( MN \)，因此具有较低的时间复杂度；而跨通道的全局注意力则专注于通道间的关系，避免了逐像素的操作，同样具备较高的效率。 --- ### 结合两种注意力的方式 最终，Biformer通过简单叠加或串联上述两种注意力机制来构建完整的网络架构。例如，对于某一层的输入 \( Z \)，其输出可以写为： \[ Z' = \text{LayerNorm}(\text{LocalWindowAttention}(Z) + \text{GlobalChannelAttention}(Z)) + Z \] 这一步骤确保了模型既能学习到局部细粒度特征又能掌握全局上下文信息。 --- ###