## 1. 数据格式转换与结构设计 SegFormer本身不直接处理原始图像和标签文件，它依赖mmsegmentation框架提供的统一数据接口。这意味着你手头那堆散落的jpg图片和png掩码图，必须先被组织成框架能读懂的语言——不是随便打包进文件夹就行，而是要构建出一套逻辑清晰、字段规范的数据描述体系。我第一次做这个转换时踩过坑：把标注图直接按像素值填色，结果训练时模型完全学不会区分类别，后来才发现是类别索引没对齐，背景该是0却写成了1，整个训练过程都在拟合错误的监督信号。 COCO格式JSON是目前最稳妥的选择，它把图像元信息（尺寸、路径）和标注信息（类别、分割多边形、包围框）分层存放，结构清晰且被广泛支持。你不需要手动写JSON，用Python脚本批量生成更可靠。核心是两个列表：`images`存每张图的ID、宽高、文件名；`annotations`存每个实例的归属图ID、所属类别ID、分割点坐标（polygon格式）、面积和crowd标记。注意`category_id`必须从1开始连续编号，0留给忽略区域；`segmentation`字段如果是单个对象，就用一个二维数组表示轮廓点序列，比如`[[x1,y1,x2,y2,...]]`；如果是多个不相连部分，就用嵌套数组`[[x1,y1,...],[x2,y2,...]]`。我实测下来，哪怕只有一张图，也要确保JSON里`images`和`annotations`都非空，否则mmsegmentation初始化时会静默失败，报错信息还不明确。 实际操作中，我习惯先建一个基础字典模板： ```python coco_dict = { "images": [], "annotations": [], "categories": [ {"id": 1, "name": "crack", "supercategory": "defect"}, {"id": 2, "name": "spalling", "supercategory": "defect"} ] } ``` 然后遍历你的图像目录，用OpenCV读取原图获取`width`和`height`，用PIL或cv2读取对应标签图，遍历每个连通域，调用`cv2.findContours`提取轮廓点，再转成COCO要求的浮点坐标序列。这里有个细节：COCO的polygon坐标是[x,y,x,y...]一维列表，而OpenCV返回的是(x,y)元组数组，需要展平并确保类型为float。另外，`area`字段不能简单用`cv2.contourArea`，因为有些标注图是灰度图，不同灰度值代表不同类别，得先做阈值分割再计算。我写了个小函数专门处理这个，跑完一个500张图的数据集只要不到两分钟。 ## 2. 自定义数据集类注册与配置 mmsegmentation的数据加载机制靠的是“注册-发现”模式，不是靠路径硬编码。你写好一个继承`CustomDataset`的类，加上`@DATASETS.register_module()`装饰器，框架就能在运行时自动识别它。这一步看似只是复制粘贴几行代码，但背后有三个关键点必须亲手调准：类别名称`CLASSES`、颜色映射`PALETTE`、文件后缀`img_suffix`和`seg_map_suffix`。我见过太多人卡在这儿——改了配置文件里的数据集名，却忘了在Python类里同步更新`CLASSES`元组，结果训练时日志里疯狂打印`unknown class id: 2`，模型根本收不了敛。 `CLASSES`必须是字符串元组，顺序和你在COCO JSON里定义的`categories`顺序严格一致。比如JSON里`crack`是id=1，`spalling`是id=2，那么`CLASSES = ('crack', 'spalling')`，少一个括号都不行。`PALETTE`是RGB三元组列表，每个三元组对应一个类别的可视化颜色，长度必须和`CLASSES`相等。别偷懒全设成`[255,0,0]`，后期看验证结果图时所有类别都红成一片，根本分不清哪块是裂缝哪块是剥落。我习惯用色盲友好的配色方案，比如裂缝用青色`[0,255,255]`，剥落用洋红`[255,0,255]`，这样在tensorboard里一眼就能分辨。 文件后缀设置容易被忽略，但它决定了框架怎么拼接路径。假设你的图存在`data/images/`下，标签图在`data/labels/`下，且图是`.jpg`，标签是`.png`，那么`img_suffix='.jpg'`，`seg_map_suffix='.png'`，框架会自动把`images/001.jpg`和`labels/001.png`关联起来。如果后缀写错，比如标签其实是`.tif`却写成`.png`，程序不会报错，而是静默跳过所有样本，最后告诉你“Found 0 images”，这种bug查起来特别折磨人。我在config文件里还额外加了`reduce_zero_label=False`，因为我的背景类明确标为0，不想让它被自动忽略——这点必须和你的标注习惯匹配，否则标签图里所有0像素都会被抹掉。 ## 3. 预训练权重选择与加载策略 SegFormer的性能天花板很大程度上取决于起点。直接从头训B0骨干网络，30个epoch可能还不如用Cityscapes预训练权重训10个epoch的效果好。官方Model Zoo里那些`segformer_mit-b0_512x512_160k_cityscapes`之类的模型名，其实暗含了重要信息：`mit-b0`指骨干网络是MIT-B0，`512x512`是训练时的输入分辨率，`160k`是迭代次数。选哪个？我的经验是：如果你的数据集分辨率接近512x512（比如480x640），优先选512x512的；如果普遍是1024x1024以上，考虑768x768或1024x1024的版本，虽然下载慢点，但特征提取更匹配。 加载权重不是简单把pth文件扔进`load_from`字段就完事。mmsegmentation默认会严格校验键名，如果你的自定义数据集类别数和预训练模型不一致（比如Cityscapes有19类，你只有2类），直接加载会报`size mismatch for decode_head.conv_seg.weight`。这时候必须加`strict=False`参数，并在配置里显式指定`num_classes`。我在`configs/my_custom_dataset/segformer_b0_mydataset.py`里这么写： ```python model = dict( pretrained='checkpoints/segformer_mit-b0_512x512_160k_cityscapes_20210729_224853-efbdc9c6.pth', backbone=dict(...), decode_head=dict( num_classes=2, # 关键！覆盖预训练头的类别数 ), ) ``` 同时在`train_cfg`里加上`load_from`指向pth路径。实测发现，即使类别数不同，骨干网络的权重迁移效果依然显著——B0的前几层卷积核学到的边缘、纹理特征，在裂缝检测里同样有效。我对比过，用预训练权重，loss从第一轮就稳定下降，而随机初始化的版本前5轮loss波动剧烈，还容易陷入局部最优。另外，别忘了检查pth文件的完整性，wget下载有时会中断，用`md5sum`核对官网提供的hash值，我曾经因为一个字节损坏，训了两天才发现mIoU始终卡在30%不上升。 ## 4. 配置文件定制与训练启动 配置文件是整个训练流程的中枢神经，它把数据、模型、优化器、调度器全部串起来。mmsegmentation的配置采用Python语法，好处是支持变量复用和条件逻辑，坏处是新手容易被嵌套字典绕晕。我建议从`configs/segformer/segformer_mit-b0_512x512_160k_cityscapes.py`这个文件复制一份开始改，而不是从零写。第一步改数据相关配置：`data.train.type`设为你的注册类名`MyCustomDataset`，`data.train.data_root`指向数据集根目录（比如`./data/my_dataset/`），`data.train.ann_file`填COCO JSON的相对路径`annotations/train.json`。这里有个易错点：`data_root`是整个数据集的根，不是JSON文件所在目录，框架会自动拼接`data_root + ann_file`得到完整路径。 第二步调模型头的输出维度。`decode_head.num_classes`必须等于你的类别总数（包括背景），比如2类就写2。第三步调学习率，预训练模型微调时，学习率通常比从头训小一个数量级。Cityscapes配置里base_lr是0.01，我改成0.001，配合`lr_config.policy='poly'`和`power=0.9`，让学习率随epoch缓慢衰减，避免前期更新太猛破坏预训练特征。第四步设工作目录，`--work-dir work_dirs/segformer_b0_mydataset/`这个参数不能少，它决定日志、模型权重、tensorboard文件的存放位置。我习惯在`work_dirs`下按项目建子目录，方便后续管理。 启动命令看着简单，但参数组合很讲究。除了基本的`python tools/train.py`，我必加`--gpu-id 0`指定GPU（多卡时用`--gpus 2`），加`--seed 42`固定随机种子保证实验可复现，加`--deterministic`启用确定性算法（虽然会慢一点，但调试时值得）。训练中途想看效果？`--validate`参数会在每个checkpoint保存后自动跑一次验证，输出mIoU、Acc等指标。我一般训到第10轮就暂停，用`tools/test.py`跑一次完整验证集，如果mIoU>65%，说明数据和配置没问题，继续训；如果<40%，立刻停掉检查标注质量——大概率是标签图里有大片纯黑或纯白区域没处理好。这些细节，都是我试过五六次不同数据集后才摸清的节奏。