### 训练 YOLOv8-Seg 并生成 Grad-CAM 热力图 #### 准备环境与数据集 为了在 PyTorch 上训练 YOLOv8-seg 模型并使用 Grad-CAM 生成类别激活映射（CAM）热力图，需先安装必要的库和准备数据集。 ```bash pip install ultralytics torch torchvision torchaudio grad-cam matplotlib opencv-python-headless ``` 确保定义的数据路径正确无误： ```python import os from pathlib import Path pet_image_dir = "D:/aaaauji/TransUNet-main/pet-ct-2/train/after_pet_imgs" ct_image_dir = "D:/aaaauji/TransUNet-main/pet-ct-2/train/after_ct_imgs" output_dir = "D:/aaaauji/TransUNet-main/hot11" os.makedirs(output_dir, exist_ok=True) ``` #### 加载预训练模型与自定义配置 加载 YOLOv8-seg 预训练权重，并根据需求调整模型参数。对于双输入的情况，可能需要修改网络结构以适应多模态输入[^1]。 ```python from ultralytics import YOLO model = YOLO('yolov8n-seg.pt') # 使用 nano 版本作为例子 ``` 如果模型支持双输入，则应按照官方文档说明进行相应设置；否则考虑构建适配层来处理不同类型的输入源。 #### 数据增强与预处理 针对特定任务设计合适的数据转换流程，包括但不限于尺寸调整、归一化等操作。考虑到 PET 和 CT 图像特性差异较大，在此阶段还需特别注意保持两者间的一致性和兼容性。 #### 开始训练过程 设定超参数后启动训练循环。期间可以监控损失函数变化趋势以及验证集上的表现情况，以便及时调优策略。 ```python results = model.train(data='path/to/data.yaml', epochs=100, imgsz=640) ``` 此处 `data.yaml` 文件应当包含有关图像位置的信息以及其他必要元数据描述。 #### 应用 Grad-CAM 技术获取解释性视图 完成上述准备工作之后，即可利用 Grad-CAM 工具包分析已训练好的检测器内部机制。具体实现方式如下所示： ```python from pytorch_grad_cam.utils.image import show_cam_on_image from pytorch_grad_cam import GradCAM import cv2 import numpy as np def preprocess_input(image_path): image = cv2.imread(str(image_path)) input_tensor = ... # 实现具体的预处理逻辑 return input_tensor.unsqueeze(0) target_layers = [model.model[-2]] # 假设最后一层特征提取模块为目标区域 cam = GradCAM(model=model, target_layers=target_layers, use_cuda=True) for filename in os.listdir(pet_image_dir)[:5]: # 只取前五张图片做演示 pet_img_path = Path(pet_image_dir) / filename ct_img_path = Path(ct_image_dir) / filename inputs = (preprocess_input(pet_img_path), preprocess_input(ct_img_path)) grayscale_cams = cam(input_tensor=inputs)[0] rgb_img = cv2.cvtColor(cv2.imread(str(pet_img_path)), cv2.COLOR_BGR2RGB) visualization = show_cam_on_image(rgb_img.astype(np.float32)/255., grayscale_cams, use_rgb=True) save_path = f"{output_dir}/{filename}_gradcam.jpg" cv2.imwrite(save_path, cv2.cvtColor(visualization, cv2.COLOR_RGB2BGR)) ``` 通过以上代码片段能够有效展示出每一张测试样本对应的注意力分布状况，从而帮助理解神经网络决策依据所在之处。