### 使用Python实现红外与可见光图像融合 #### 方法概述 红外与可见光图像融合旨在结合这两种模态的优势，提供更加丰富的视觉信息。该过程通常涉及特征提取、转换以及最终的合成操作。 #### 实现方案之一：基于PyTorch框架下的PSFusion模型 一种先进的解决方案是采用名为`PSFusion`的方法[^3]。此方法利用渐进语义注入和场景保真度来增强融合效果，在高级视觉任务中表现出色。具体来说： - **数据准备**：加载并预处理待融合的一对或多对红外及可见光输入图片； - **网络构建**：定义神经网络架构用于学习跨模态映射关系； - **训练流程**：调整参数直至达到满意的性能指标为止； 对于希望快速上手的朋友而言，可以直接参考官方GitHub仓库中的说明文档获取详细的安装指南与使用教程。 下面是简化版的代码片段展示如何调用已训练好的PSFusion模型来进行两幅图象间的简单融合工作： ```python import torch from psfusion.model import create_model # 导入创建模型函数 def fuse_images(ir_path, vi_path, output_dir='./results'): """Fuse infrared and visible images using pre-trained PSFusion model.""" device = 'cuda' if torch.cuda.is_available() else 'cpu' opt = {'checkpoints_dir': './pretrained_models', 'name':'best_psfusion'} # 设置路径和其他选项 # 创建并载入预先训练过的权重文件 model = create_model(opt).to(device) model.setup(opt) from PIL import Image import torchvision.transforms as transforms transform_list = [ transforms.Resize((256, 256)), transforms.ToTensor() ] trans = transforms.Compose(transform_list) ir_img = Image.open(ir_path).convert('RGB') vi_img = Image.open(vi_path).convert('RGB') data = { 'A_paths':[ir_path], 'B_paths':[vi_path], 'A':trans(ir_img).unsqueeze(0), 'B':trans(vi_img).unsqueeze(0) } with torch.no_grad(): model.set_input(data) model.test() visuals = model.get_current_visuals() img_fused = (visuals['fake_B'].data.cpu().float().numpy()+1)/2*255. fused_image = Image.fromarray(img_fused.astype(np.uint8)[0].transpose([1,2,0])) save_path = f"{output_dir}/fused_{Path(ir_path).stem}_{Path(vi_path).stem}.png" fused_image.save(save_path) print(f"Fused image saved at {save_path}") if __name__ == '__main__': fuse_images('./example/infrared.png','./example/visible.png') ``` 这段脚本首先设置了必要的环境变量，并初始化了一个带有特定配置项的对象实例化了`create_model()`函数所返回的结果——即我们的PSFusion模型对象。接着读取两张源图作为输入给到这个模型里边去执行测试模式下的前向传播计算得到输出结果最后保存下来生成的新图像。