SegFormer-MiT-B5 是 SegFormer 系列中最大、性能最强的模型，其核心结构遵循 SegFormer 的整体设计范式，即“分层 Transformer 编码器 (MiT) + 轻量级 MLP 解码器”，但具体参数和层次深度显著增加 [ref_1]。其结构图可以从编码器和解码器两个部分来详细理解。 ### 一、 整体网络结构概览 SegFormer 的整体流程为：输入图像 → **MiT 编码器（提取多尺度特征）** → **轻量级 MLP 解码器（融合特征并预测）** → 输出分割掩码 [ref_1]。 一个典型的结构示意图如下（以通用 SegFormer 为例）： ``` 输入图像 (H, W, 3) │ ▼ OverlapPatchEmbed (Block1) # 下采样4倍 │ ▼ MiT Block1 (重复 N1 次) # 特征图尺寸: H/4, W/4, C1 │ ▼ OverlapPatchEmbed (Block2) # 下采样至8倍 │ ▼ MiT Block2 (重复 N2 次) # 特征图尺寸: H/8, W/8, C2 │ ▼ OverlapPatchEmbed (Block3) # 下采样至16倍 │ ▼ MiT Block3 (重复 N3 次) # 特征图尺寸: H/16, W/16, C3 │ ▼ OverlapPatchEmbed (Block4) # 下采样至32倍 │ ▼ MiT Block4 (重复 N4 次) # 特征图尺寸: H/32, W/32, C4 │ ▼ [多尺度特征 F1, F2, F3, F4] → MLP 解码器 │ ▼ 输出分割图 (H/4, W/4, Num_classes) ``` ### 二、 MiT-B5 编码器详解 MiT-B5 是 Mix Transformer Encoder 的第五个也是最复杂的版本。其核心模块与 MiT-B0 一致，但层数更深、通道数更多、注意力头数更多，从而拥有更强的特征提取能力 [ref_1]。 **1. 分层特征提取与参数配置** MiT-B5 编码器同样分为四个阶段（Stage），每个阶段输出不同尺度的特征图。下表详细对比了 MiT-B5 各阶段的关键参数 [ref_1]： | 阶段 (Stage) | 输出特征图尺寸 (H, W, C) | 嵌入维度 (Embed Dim) | Transformer 块重复次数 (L) | 注意力头数 (Heads) | 降采样比率 (SR Ratio) | 等效感受野 | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | **1** | H/4, W/4, 64 | 64 | 3 | 1 | 8 | 局部+全局 | | **2** | H/8, W/8, 128 | 128 | 6 | 2 | 4 | 增大 | | **3** | H/16, W/16, 320 | 320 | 40 | 5 | 2 | 进一步增大 | | **4** | H/32, W/32, 512 | 512 | 3 | 8 | 1 | 全局 | *注：H, W 为输入图像高和宽；C为通道数；SR Ratio 用于高效自注意力计算，值越大，Key/Value序列长度越短，计算越高效 [ref_1]。* **2. 核心组件模块** 每个 MiT Block 都包含以下三个关键组件，这也是 SegFormer 编码器的创新点： * **Overlap Patch Embedding (重叠区块嵌入)**：使用带有重叠的卷积操作将图像分块并投影到嵌入空间。这比 ViT 的非重叠分块能更好地保留局部连续性信息 [ref_1]。 ```python # 以 Stage1 为例的 OverlapPatchEmbed 初始化代码示意 [ref_1] # patch_size=7, stride=4 意味着使用7x7卷积核，步长为4进行下采样，并有重叠。 self.patch_embed1 = OverlapPatchEmbed(patch_size=7, stride=4, in_chans=3, embed_dim=64) ``` * **Efficient Self-Attention (高效自注意力)**：引入了序列缩减（Sequence Reduction）机制。通过一个 `sr_ratio` 参数，对 Key 和 Value 进行下采样，大幅减少了计算复杂度，使其能够处理高分辨率特征图 [ref_1]。 ```python # 注意力模块初始化示意，sr_ratio 控制序列缩减比例 [ref_1] self.attn = EfficientSelfAttention(dim=embed_dim, num_heads=num_heads, sr_ratio=sr_ratio) ``` * **Mix-FFN (混合前馈网络)**：使用 3x3 深度可分离卷积替换了传统 Transformer 中的位置编码。Mix-FFN 直接在前馈网络中加入卷积来引入局部位置信息，避免了固定位置编码在测试时分辨率变化导致的性能下降问题 [ref_1]。 ```python # Mix-FFN 结构示意，包含一个3x3卷积和两层MLP [ref_1] class MixFFN(nn.Module): def __init__(self, in_features, hidden_features): super().__init__() self.fc1 = nn.Linear(in_features, hidden_features) self.dwconv = nn.Conv2d(hidden_features, hidden_features, 3, 1, 1, groups=hidden_features) # 3x3卷积引入位置信息 self.act = nn.GELU() self.fc2 = nn.Linear(hidden_features, in_features) ``` ### 三、 轻量级 MLP 解码器 解码器接收编码器四个阶段输出的多尺度特征 `{F1, F2, F3, F4}`，其结构轻巧但有效 [ref_1]： 1. **统一通道数**：首先，将四个不同通道数的特征图分别通过一个简单的 MLP 层，统一投影到相同的较低维度（例如 256 维），以减少计算量。 2. **上采样与拼接**：将 `F2, F3, F4` 上采样到与 `F1` 相同的空间尺寸（即输入的 1/4），然后将四个特征图在通道维度上进行拼接。 3. **特征融合与预测**：使用一个轻量的 MLP 对拼接后的特征进行融合，最后通过一个线性分类层输出每个像素的类别预测，得到 `(H/4, W/4, Num_classes)` 的分割结果。 ```python # 解码器核心步骤的简化伪代码 [ref_1] def forward(decoder, features): # features: list of [F1, F2, F3, F4] with shapes (H/4*W/4, C1), ... # Step 1: 统一通道维度 c1 = mlp1(features[0]) # (H/4*W/4, 256) c2 = mlp2(features[1]) # (H/8*W/8, 256) c3 = mlp3(features[2]) # (H/16*W/16, 256) c4 = mlp4(features[3]) # (H/32*W/32, 256) # Step 2: 上采样并拼接 c2 = resize(c2, size=c1.shape[1:]) # 上采样至H/4, W/4 c3 = resize(c3, size=c1.shape[1:]) c4 = resize(c4, size=c1.shape[1:]) fused = torch.cat([c1, c2, c3, c4], dim=-1) # (H/4*W/4, 256*4) # Step 3: 融合与预测 out = fusion_mlp(fused) # (H/4*W/4, 256) seg_logits = classifier(out) # (H/4*W/4, Num_classes) seg_logits = reshape(seg_logits, (H/4, W/4, Num_classes)) return seg_logits ``` ### 四、 MiT-B5 的特点与应用 * **性能**：在 Cityscapes、ADE20K 等主流语义分割数据集上，MiT-B5 作为 SegFormer 的骨干网络，通常能达到最高的 mIoU（平均交并比）精度 [ref_2][ref_4]。 * **效率权衡**：虽然 MiT-B5 的参数量和计算量远大于 B0-B4，但其设计依然保持了 Transformer 架构的高效性。通过**高效自注意力**和**轻量解码器**，它在取得高精度的同时，相比一些纯卷积或早期 ViT 分割模型，在速度-精度权衡上表现更优 [ref_1]。 * **应用场景**：适用于对精度要求极高的场景，如自动驾驶中的高精度道路场景解析 [ref_4]、医学影像的精细分割等，在这些场景中，其强大的多尺度上下文建模能力能带来显著收益。 总结，SegFormer-MiT-B5 的结构图描绘了一个深度化、参数化的分层 Transformer 编码器与一个极简 MLP 解码器的高效组合。其核心优势在于：1) **无需位置编码**，通过 Mix-FFN 适应多尺度；2) **高效注意力机制**，降低计算开销；3) **强大的多尺度特征融合**能力，通过轻量解码器实现 [ref_1]。