针对 SegFormer 测试过程中遇到的网络不通和手动配置 config 后仍报维度错误的问题，其根源通常在于**环境配置不完整**、**配置文件不匹配**或**数据预处理不一致**[ref_2][ref_3]。以下是系统的诊断与解决方案。 ### **问题一：网络不通导致预训练权重下载失败** SegFormer 在 MMSegmentation 框架中运行时，默认会尝试从开源仓库（如 Hugging Face 或官方源）下载预训练的骨干网络（如 `mit_b2.pth`）权重。网络不通会导致下载失败，进而引发一系列后续错误，包括模型初始化失败和维度不匹配[ref_2][ref_3]。 **解决方案：手动下载并配置预训练权重** 1. **手动下载权重文件**：从可访问的镜像源或官方仓库手动下载对应的预训练权重文件。例如，对于 `mit_b2` 骨干网络，可寻找 `mit_b2.pth` 文件。 2. **修改配置文件**：在您的 SegFormer 配置文件中（通常是 `*.py` 文件），找到 `pretrained` 参数，将其值从远程URL修改为本地权重文件的**绝对路径**。 ```python # 原始配置可能为： # pretrained='https://download.openmmlab.com/pretrain/segformer/mit_b2.pth' # 修改为本地路径： pretrained='/your/local/path/to/mit_b2.pth' ``` 这一步确保了模型能正确加载初始化权重，避免因随机初始化导致的特征维度混乱[ref_2]。 ### **问题二：手动配置 Config 后报维度错误** 维度错误（如 `size mismatch`、`shape error`）通常由以下原因导致，其根本在于**模型结构定义、输入数据维度、以及任务设定三者之间的不匹配**[ref_2][ref_5]。 **诊断与解决方案：** | 可能原因 | 具体表现 | 解决方案 | | :--- | :--- | :--- | | **1. 模型 `num_classes` 不匹配** | 模型解码头输出的通道数（`num_classes`）与数据集中实际的类别数量不一致。 | 检查配置文件中 `model.decode_head.num_classes` 的值，确保其等于您数据集的类别数（包括背景类）。例如，对于VOC数据集是21类，ADE20K是150类[ref_2][ref_3]。 | | **2. 输入图像尺寸不一致** | 训练、测试、验证阶段输入的图像尺寸（`crop_size`, `img_scale`）与模型编码器的下采样倍数不兼容。 | 确保 `crop_size` 能被模型的总下采样倍数（如SegFormer-B2为32）整除。在配置文件的 `train_pipeline` 和 `test_pipeline` 中统一设置 `img_scale` 和 `crop_size`[ref_2]。 | | **3. 数据集标注格式错误** | 标注图（GT Segmentation Map）的像素值范围或通道数与模型期望不符。 | 确认标注图为单通道的PNG格式，且像素值从0开始连续代表类别ID。使用 `Palette` 进行可视化检查[ref_3]。 | | **4. 骨干网络 (`backbone`) 与解码头 (`decode_head`) 版本不匹配** | 使用了为 `mit_b0` 设计的解码头配置去加载 `mit_b2` 的权重，或反之。 | 确保使用配套的配置文件。例如，`segformer_mit-b2_512x512_160k_ade20k.py` 应搭配 `mit_b2` 的权重和相应的 `in_channels` 与 `channels` 设置[ref_2]。 | | **5. 数据预处理 (`pipeline`) 配置错误** | `LoadImageFromFile` 和 `LoadAnnotations` 后接的变换（`Resize`, `RandomCrop`, `Normalize`）顺序或参数导致张量维度异常。 | 对比官方配置文件（如ADE20K的配置），确保您的自定义数据集 `pipeline` 与之一致，特别是 `Normalize` 的均值和标准差参数[ref_3][ref_5]。 | **一个关键配置示例：修正 `num_classes` 和 `input_size`** ```python # 在您的 config.py 文件中，重点检查以下部分： model = dict( type='Segformer', pretrained='/path/to/local/mit_b2.pth', # 本地权重路径 backbone=dict( type='mit_b2', style='pytorch'), decode_head=dict( type='SegformerHead', in_channels=[64, 128, 320, 512], # B2 的通道数，B0/B1不同 channels=256, num_classes=19, # ！！！必须改为您数据集的真实类别数 ！！！ loss_decode=dict( type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0)) ) # 数据预处理部分 img_norm_cfg = dict( mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True) crop_size = (512, 512) # 确保 (H, W) 能被 32 整除 train_pipeline = [ dict(type='LoadImageFromFile'), dict(type='LoadAnnotations'), dict(type='Resize', img_scale=(2048, 512), ratio_range=(0.5, 2.0)), dict(type='RandomCrop', crop_size=crop_size, cat_max_ratio=0.75), dict(type='RandomFlip', prob=0.5), dict(type='PhotoMetricDistortion'), dict(type='Normalize', **img_norm_cfg), dict(type='Pad', size=crop_size, pad_val=0, seg_pad_val=255), dict(type='DefaultFormatBundle'), dict(type='Collect', keys=['img', 'gt_semantic_seg']), ] ``` *此配置示例强调了 `num_classes` 必须与数据集对齐，且 `crop_size` 需符合模型要求，这是避免维度错误的核心[ref_2][ref_3][ref_5]。* ### **综合排查步骤** 1. **环境验证**：首先确保 PyTorch、MMCV、MMSegmentation 版本兼容。使用 `mim download mmsegmentation --config xxx --dest .` 命令尝试下载配置和权重，验证网络或环境问题[ref_3]。 2. **最小化测试**：创建一个极简的配置文件，仅包含模型和最小数据集，逐项添加组件（数据增强、优化器等），以定位引发错误的模块。 3. **数据检查**：使用如下代码片段检查单个数据样本的维度，确保输入图像和标注的尺寸、类型符合预期： ```python import mmcv from mmseg.datasets import build_dataset cfg = mmcv.Config.fromfile('your_config.py') dataset = build_dataset(cfg.data.train) data = dataset[0] print(f"Image shape: {data['img'].data.shape}") print(f"Label shape: {data['gt_semantic_seg'].data.shape}") print(f"Label unique values: {torch.unique(data['gt_semantic_seg'].data)}") ``` 4. **模型前向检查**：在加载权重后，用随机张量执行一次模型前向传播，检查是否出现维度错误，这可以隔离数据加载的影响[ref_5]。 **总结**：SegFormer 测试失败的核心矛盾在于**网络依赖**和**配置一致性**。优先通过**本地权重加载**解决网络问题，然后系统性地**核对模型 `num_classes`、输入尺寸 `crop_size`、数据预处理流水线 `pipeline` 以及骨干网络与解码头的匹配性**来解决维度错误。仔细对照官方提供的、已验证的配置文件（如针对 ADE20K 或 Cityscapes 的配置）进行调整，是最高效的避坑方法[ref_2][ref_3][ref_5]。