在 Python 中，**对图像进行局部重绘（Image Inpainting）** 是指对图像中指定区域（通常是遮挡或损坏区域）进行内容感知的修复，使修复后的图像看起来自然、无缝。 Python 中有多种方式可以实现图像局部重绘，主要包括： - 使用 OpenCV 自带的 `inpaint` 方法（传统方法） - 使用深度学习模型（如 DeepFillv2、Free-Form Image Inpainting 等） --- ## ✅ 方法一：使用 OpenCV 进行局部重绘（传统方法） OpenCV 提供了 `cv2.inpaint()` 方法，适用于简单的局部修复任务。 ### 示例代码： ```python import cv2 import numpy as np # 读取图像 image = cv2.imread("input_image.jpg") # 创建一个掩码（mask），标记需要修复的区域（白色区域） mask = np.zeros(image.shape[:2], dtype=np.uint8) # 假设我们要修复图像中心的一个矩形区域 cv2.rectangle(mask, (100, 100), (300, 300), 255, -1) # 使用 OpenCV 的 inpaint 方法进行修复 dst = cv2.inpaint(image, mask, inpaintRadius=3, flags=cv2.INPAINT_TELEA) # 显示结果 cv2.imshow("Original", image) cv2.imshow("Mask", mask) cv2.imshow("Inpaint Result", dst) cv2.waitKey(0) cv2.destroyAllWindows() ``` --- ## ✅ 方法二：使用深度学习模型（DeepFillv2）进行高质量重绘 对于更复杂的图像修复任务，推荐使用深度学习模型，如 **DeepFillv2** 或 **LaMa**。 ### 使用 OpenCV 的 DNN 模块加载 ONNX 模型（示例为 DeepFillv2） > 你需要先下载 DeepFillv2 的 ONNX 模型文件（可以从 GitHub 项目或 HuggingFace 获取） #### 示例代码： ```python import cv2 import numpy as np # 加载图像和掩码 image = cv2.imread("input_image.jpg") mask = cv2.imread("mask_image.png", 0) # 掩码图应为单通道图像 # 预处理：将掩码应用到图像上生成损坏图像 damaged_image = image.copy() damaged_image[mask == 255] = [0, 0, 0] # 将掩码区域涂黑 # 加载 DeepFillv2 模型（假设你已有 ONNX 模型） model_path = "deepfillv2.onnx" net = cv2.dnn.readNetFromONNX(model_path) # 预处理输入 blob = cv2.dnn.blobFromImage(damaged_image, scalefactor=1.0, size=(512, 512), mean=(104, 117, 123), swapRB=True, crop=False) # 设置输入 net.setInput(blob) # 推理 output = net.forward() # 后处理 result = output[0].transpose(1, 2, 0) result = cv2.cvtColor(result, cv2.COLOR_RGB2BGR) result = cv2.normalize(result, None, 0, 255, cv2.NORM_MINMAX, dtype=cv2.CV_8U) # 显示结果 cv2.imshow("Damaged Image", damaged_image) cv2.imshow("Inpaint Result (DeepFillv2)", result) cv2.waitKey(0) ``` --- ## ✅ 方法三：使用 HuggingFace Transformers + LaMa LaMa 是一个基于 Fourier Domain 的图像修复模型，效果非常好，可以通过 HuggingFace 接口使用。 ### 示例代码（使用 `diffusers` + `lama` 模型）： ```python from diffusers.pipelines.paint_with_words import PaintWithWordsPipeline import torch from PIL import Image # 加载模型（需要网络连接） pipe = PaintWithWordsPipeline.from_pretrained( "shi-labs/paint-with-words-lama", torch_dtype=torch.float16 ).to("cuda") # 读取原始图像和掩码图像（PIL格式） image = Image.open("input_image.jpg").convert("RGB") mask = Image.open("mask_image.png").convert("L") # 单通道掩码 # 进行修复 result = pipe(image=image, mask_image=mask).images[0] # 显示结果 result.show() ``` --- ## 🔍 解释： | 方法 | 原理 | 优点 | 缺点 | |------|------|------|------| | OpenCV `inpaint` | 基于偏微分方程的扩散算法 | 快速、简单 | 修复效果有限，不适用于复杂场景 | | DeepFillv2 | 深度学习，上下文感知修复 | 修复质量高 | 需要模型文件和 GPU 支持 | | LaMa / Diffusers | 基于 Fourier Domain 的深度学习模型 | 效果最好，适合复杂场景 | 依赖模型加载，推理速度较慢 | --- ##