SeaFormer是一个轻量级语义分割算法，由复旦大学和腾讯提出。它由STEM、context分支（红色）、spatial分支（蓝色）、fusion模块、分割head组成，其中MV2表示MobileNetV2 block，MV2 ↓2表示带有下采样的MobileNetV2 block，⊗表示元素相乘 [^2]。 该网络先对图像进行1/2、1/4和1/8的下采样，再分别用上下文分支和空间分支进行处理。上下文分支交替使用了MobileNetV2 Block（MV2）和SeaFormer Layers，中间使用Fusion block对两个分支进行融合，使用卷积和Sigmoid提取权重信息，再将权重信息与空间分支相乘，连续迭代三次后使用Light segmentation head进行处理 [^3]。 SeaFormer采用了轴向注意力机制，先对Q，K，V分别进行池化，再转换维度，分别使用横向压缩和纵向压缩得到Hx1xCp和1xWxCp的两个向量，对这两个向量分别计算多头自注意力，再将得到的结果进行广播，将两个结果扩大为相同的维度再进行相加。为了增强细节信息，SeaFormer中使用了Detail enhancement kernel，通过该kernel得到的结果与压缩的轴向注意力的计算结果进行相乘，得到最终的注意力 [^3]。 在应用方面，SeaFormer中的Sea_Attention模块可用于优化YOLO26的目标检测网络模型。Sea_Attention利用挤压轴向注意力有效地提取全局语义信息，并通过细节增强核补充局部细节，优化了Transformer块的特征提取能力。将其加入到YOLO26的不同位置中，能使模型在不引入过多计算开销的情况下聚合空间信息 [^1]。同时，在PSA模块加入Sea_AttentionBlock模块，并将PSA重命名为PSA_Sea [^4]。在YOLOv8 - Seg改进中也有应用，相关代码会对包含Sea_AttentionBlock等模块的参数进行调整 [^5]。 ```python # 以PSA_Sea类为例 import torch import torch.nn as nn class Conv(nn.Module): def __init__(self, c1, c2, k=1, s=1): super().__init__() self.conv = nn.Conv2d(c1, c2, k, s) def forward(self, x): return self.conv(x) class Sea_AttentionBlock(nn.Module): def __init__(self, c): super().__init__() # 这里简单示例，实际实现更复杂 self.dummy = nn.Identity() def forward(self, x): return self.dummy(x) class PSA_Sea(nn.Module): def __init__(self, c1, c2, e=0.5): super().__init__() assert(c1 == c2) self.c = int(c1 * e) self.cv1 = Conv(c1, 2 * self.c, 1, 1) self.cv2 = Conv(2 * self.c, c1, 1) self.attn = Sea_AttentionBlock(self.c) self.ffn = nn.Sequential( Conv(self.c, self.c*2, 1), Conv(self.c*2, self.c, 1, act=False) ) def forward(self, x): a, b = self.cv1(x).split((self.c, self.c), dim=1) b = b + self.attn(b) b = b + self.ffn(b) return self.cv2(torch.cat((a, b), 1)) ```