使用 **Mask2Former + Swin-L** 进行试卷题目分割，属于**文档图像实例分割（Document Instance Segmentation）**任务，目标是将扫描/拍照的试卷图像中每个独立题目（如“1.”、“二、”、“（1）”等）作为不同实例进行像素级分割（即每个题目的文字区域+编号区域作为一个 mask）。 ⚠️ 重要前提说明： - **Mask2Former** 是 Facebook AI 提出的通用全景/实例/语义分割统一框架（CVPR 2022），支持任意骨干网络（如 ResNet、Swin Transformer）。 - **Swin-L (Swin Transformer Large)** 是 Swin 的大模型变体（window size=7, depths=[2,2,18,2], embed_dim=192, num_heads=[6,12,24,48]），适合高分辨率文档理解。 - 但：**官方 Mask2Former 不直接支持“试卷题目分割”这一特定任务**——它需要**针对你的数据定制训练**（因题目结构、排版、编号样式高度可变），且需标注为 instance segmentation 格式（COCO 或 LVIS 格式）。 下面我将为你提供 **端到端可落地的完整方案**，包括： 1. ✅ 环境与依赖配置 2. ✅ 数据准备与标注规范（关键！） 3. ✅ 修改 Mask2Former 配置以适配 Swin-L + 文档特性 4. ✅ 训练/推理代码（含预处理、后处理、可视化） 5. ✅ 针对试卷场景的关键优化技巧（如文本行增强、编号先验、mask refinement） --- ### ✅ 1. 环境与依赖（推荐使用 PyTorch 2.0+ + CUDA 11.8） ```bash # 创建环境（conda） conda create -n mask2former-doc python=3.9 conda activate mask2former-doc # 安装 PyTorch（根据你的CUDA版本调整） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装 detectron2（Mask2Former 依赖） pip install 'git+https://github.com/facebookresearch/detectron2.git@v0.6' # 安装 Mask2Former（官方 repo） git clone https://github.com/facebookresearch/Mask2Former.git cd Mask2Former pip install -e . ``` > ✅ 注：Mask2Former v0.6+ 已原生支持 Swin backbone（通过 `mask2former_swin_large_IN21k_384_bs16_100ep.py` 配置）。 --- ### ✅ 2. 数据准备：试卷题目分割标注规范（核心！） 你需要为每张试卷图像制作 **COCO-style instance segmentation 标注**（`.json`），每个 `annotation` 对应一个题目（instance），**不是段落或单词，而是“一道题”的完整视觉区域**（含题干、子项、公式、图示等）。 #### 📌 标注建议（人工 or 半自动）： - 使用 [CVAT](https://cvat.org/) 或 [LabelMe](https://github.com/wkentaro/labelme) 标注。 - **定义类别**：仅 1 类 `"question"`（题目分割是 instance-level，类别无关，但 COCO 要求 category_id）。 - **关键要求**： - 每个题目必须用 **polygon（多边形）精确框出**（不能用 bbox！因题目常不规则，含换行、缩进、嵌套子题）； - 多选题的 A/B/C/D 选项若属同一题，**应合并为一个 mask**； - 若题干和图表分离（如题干在左、图在右），**仍属于同一题 → 合并 mask**； - 编号（如“1.”、“（2）”、“Ⅱ.”）必须包含在 mask 内（不可单独切分）。 #### 📁 目录结构示例： ``` dataset/ ├── train/ │ ├── img001.jpg │ ├── img002.jpg │ └── ... ├── val/ │ ├── img101.jpg │ └── ... └── annotations/ ├── instances_train.json # COCO format └── instances_val.json ``` #### 📄 `instances_train.json` 关键字段示例： ```json { "images": [{"id": 1, "file_name": "img001.jpg", "height": 3300, "width": 2550}], "annotations": [ { "id": 1, "image_id": 1, "category_id": 1, "segmentation": [[x1,y1,x2,y2,...]], // polygon (even length, xy alternating) "area": 12345.0, "bbox": [x,y,w,h], // auto-computed from polygon "iscrowd": 0 } ], "categories": [{"id": 1, "name": "question"}] } ``` > 💡 提示：可用脚本从 PDF 自动初筛（如 `pdf2image` + `layoutparser` + `paddleocr` 检测标题行 + 规则合并），再人工校正，大幅提升效率。 --- ### ✅ 3. 配置 Mask2Former + Swin-L（关键修改） Mask2Former 官方提供了 Swin-L 配置，但需针对**文档高分辨率、小目标密集、长宽比极端**优化： #### 🔧 修改配置文件（基于 `configs/maskformer2/maskformer2_swin_large_IN21k_384_bs16_100ep.py`） ```python # configs/maskformer2/maskformer2_swin_large_IN21k_384_bs16_100ep_doc.py from .maskformer2_swin_large_IN21k_384_bs16_100ep import * # === 1. 数据集路径 === _DATALOADER_CFG.TRAIN_DATASET_NAME = "doc_questions_train" _DATALOADER_CFG.TEST_DATASET_NAME = "doc_questions_val" # === 2. 输入分辨率适配试卷（A4扫描图 ~2480x3508）=== # 使用多尺度训练 + 更大短边 _C.INPUT.MIN_SIZE_TRAIN = (800, 832, 864, 896, 928, 960, 992, 1024) _C.INPUT.MAX_SIZE_TRAIN = 2560 # 允许长边达 2560px（保持宽高比） _C.INPUT.MIN_SIZE_TEST = 1024 _C.INPUT.MAX_SIZE_TEST = 2560 # === 3. Swin-L backbone 微调（冻结前2 stage，避免过拟合小数据）=== _C.MODEL.MASK_FORMER.BACKBONE = "swin_large" _C.MODEL.RESNETS.DEPTH = 50 # 忽略（Swin 专用） # 冻结前两个 stage（stages 0 & 1），只微调 stage2/stage3 + head _C.MODEL.SWIN.FROZEN_STAGES = 2 # === 4. Head 优化：增强小目标（题目常<200px高）=== _C.MODEL.MASK_FORMER.NUM_OBJECT_QUERIES = 200 # 原100 → 提升至200（试卷题数多） _C.MODEL.MASK_FORMER.TRANSFORMER_DECODER.IN_CHANNELS = 384 # Swin-L 输出 dim # === 5. Loss 权重调优（题目 mask 边界需更准）=== _C.MODEL.MASK_FORMER.CLASS_WEIGHT = 2.0 # 分类 loss 加权 _C.MODEL.MASK_FORMER.MASK_WEIGHT = 5.0 # mask loss 加权（主信号） _C.MODEL.MASK_FORMER.DICE_WEIGHT = 5.0 # Dice loss 加权（提升边界精度） # === 6. 数据增强（文档专用）=== _C.INPUT.MIN_SIZE_TRAIN_SAMPLING = "choice" # 多尺度 _C.INPUT.CROP.ENABLED = True _C.INPUT.CROP.TYPE = "absolute_range" _C.INPUT.CROP.SIZE = (640, 640) # 随机裁剪增强局部细节 _C.INPUT.GAUSSIAN_NOISE = 0.01 # 添加轻微噪声（模拟扫描噪点） _C.INPUT.MOTION_BLUR = 0.05 # 模拟轻微抖动 ``` #### 📌 注册自定义数据集（`train_net.py` 同级目录下新建 `register_doc_dataset.py`）： ```python # register_doc_dataset.py from detectron2.data import DatasetCatalog, MetadataCatalog from detectron2.data.datasets.coco import load_coco_json def register_doc_datasets(): for d in ["train", "val"]: DatasetCatalog.register( f"doc_questions_{d}", lambda d=d: load_coco_json( f"dataset/annotations/instances_{d}.json", image_root=f"dataset/{d}", dataset_name=f"doc_questions_{d}" ) ) MetadataCatalog.get(f"doc_questions_{d}").set( thing_classes=["question"], evaluator_type="coco" ) register_doc_datasets() ``` 并在 `train_net.py` 开头 `import register_doc_dataset`。 --- ### ✅ 4. 训练与推理代码 #### ▶️ 训练命令（单卡，batch_size=2，用梯度累积模拟 bs=16）： ```bash python train_net.py \ --config-file configs/maskformer2/maskformer2_swin_large_IN21k_384_bs16_100ep_doc.py \ --num-gpus 1 \ --dist-url tcp://127.0.0.1:12345 \ OUTPUT_DIR ./output_doc_swinl \ SOLVER.IMS_PER_BATCH 2 \ SOLVER.GRADIENT_ACCUMULATION_STEPS 8 \ SOLVER.BASE_LR 0.0001 \ SOLVER.MAX_ITER 15000 \ TEST.EVAL_PERIOD 1000 \ MODEL.WEIGHTS detectron2://ImageNetPretrained/swin/swin_large_patch4_window7_224_22k.pth ``` > ✅ 预训练权重：Swin-L 在 ImageNet-22K 上预训练，对文档纹理有强迁移能力。 #### ▶️ 推理与可视化（`infer.py`）： ```python # infer.py import cv2 import numpy as np import torch from detectron2.config import get_cfg from detectron2.engine import DefaultPredictor from detectron2.utils.visualizer import Visualizer from detectron2.data import MetadataCatalog # 加载配置 cfg = get_cfg() cfg.merge_from_file("configs/maskformer2/maskformer2_swin_large_IN21k_384_bs16_100ep_doc.py") cfg.MODEL.WEIGHTS = "./output_doc_swinl/model_final.pth" cfg.MODEL.MASK_FORMER.TEST.INSTANCE_MASK_THRESHOLD = 0.5 cfg.MODEL.RETINANET.SCORE_THRESH_TEST = 0.3 cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.3 cfg.MODEL.PANOPTIC_FPN.COMBINE.INSTANCES_CONFIDENCE_THRESH = 0.3 cfg.INPUT.MIN_SIZE_TEST = 1024 cfg.INPUT.MAX_SIZE_TEST = 2560 cfg.MODEL.DEVICE = "cuda" if torch.cuda.is_available() else "cpu" predictor = DefaultPredictor(cfg) # 推理 img = cv2.imread("dataset/val/img101.jpg") outputs = predictor(img) # 可视化（带透明 mask） v = Visualizer(img[:, :, ::-1], MetadataCatalog.get("doc_questions_val"), scale=1.0) out = v.draw_instance_predictions(outputs["instances"].to("cpu")) # 保存结果 cv2.imwrite("pred_img101.jpg", out.get_image()[:, :, ::-1]) print("Detected {} questions".format(len(outputs["instances"]))) # ✅ 导出每个题目的 mask（用于后续 OCR 或结构化解析） masks = outputs["instances"].pred_masks.cpu().numpy() # [N, H, W] boxes = outputs["instances"].pred_boxes.tensor.cpu().numpy() # [N, 4] scores = outputs["instances"].scores.cpu().numpy() for i, (mask, box, score) in enumerate(zip(masks, boxes, scores)): if score > 0.5: # 裁剪题目 ROI（带 padding） x1, y1, x2, y2 = [int(c) for c in box] pad = 10 x1, y1 = max(0, x1-pad), max(0, y1-pad) x2, y2 = min(img.shape[1], x2+pad), min(img.shape[0], y2+pad) roi = img[y1:y2, x1:x2] mask_roi = mask[y1:y2, x1:x2] # 应用 mask 到 ROI roi_masked = cv2.bitwise_and(roi, roi, mask=mask_roi.astype(np.uint8)) cv2.imwrite(f"question_{i:02d}.png", roi_masked) ``` --- ### ✅ 5. 试卷场景关键优化技巧（实战经验） | 技巧 | 说明 | 实现方式 | |------|------|----------| | **① 编号引导注意力** | 题目编号（“1.”、“（3）”）是强线索 | 在预处理中用 PaddleOCR 检测编号位置，生成 attention map 作为额外输入通道（需修改 backbone 输入） | | **② Mask Refinement** | 初始 mask 边界毛糙 | 后处理：用 `cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)` + `cv2.findContours` 重绘平滑多边形 | | **③ 层次化后处理** | 处理嵌套题（如大题含小题） | 用 bounding box 的 IOU 和 y-center 距离聚类，构建树状结构（非 Mask2Former 原生，需 pipeline 后加） | | **④ 小样本适配** | 若标注少（<200 张） | 启用 CutMix + Text-aware Aug（用 SynthText 生成伪试卷 patch 混合） | --- ✅ 总结：该方案是当前 SOTA 级别试卷题目分割的可行路径。**Mask2Former + Swin-L 提供了强大的特征表达能力，而成功关键在于：高质量 instance 标注 + 文档感知的配置调优 + 后处理业务逻辑闭环。** ---