### Python 实现点云与图像融合的可运行示例 以下是基于深度学习框架 TensorFlow 和 Open3D 的一个简单点云与 RGB 图像融合的示例代码。此代码展示了如何加载点云数据和对应的 RGB 数据，并将其融合成带有颜色信息的点云。 #### 安装必要的依赖项 为了运行以下代码，请先安装所需的库： ```bash pip install open3d numpy opencv-python pillow matplotlib h5py tensorflow==1.4.0 scipy keras==2.x ``` #### 示例代码 ```python import numpy as np import cv2 from PIL import Image import open3d as o3d def load_point_cloud(file_path): """ 加载点云文件 """ pcd = o3d.io.read_point_cloud(file_path) points = np.asarray(pcd.points) # 获取点云中的点坐标 return points, pcd def load_rgb_image(image_path): """ 加载并预处理RGB图像 """ image = Image.open(image_path).convert('RGB') rgb_array = np.array(image.resize((640, 480))) / 255.0 # 将图像调整为适当大小并归一化 return rgb_array def project_points_to_image(points, intrinsic_matrix, extrinsic_matrix): """ 将点云投影到图像平面上 """ projected_points = [] for point in points: homogeneous_point = np.append(point, 1.0) # 转换为齐次坐标 camera_coords = np.dot(extrinsic_matrix, homogeneous_point)[:3] # 应用外参矩阵 pixel_coords = np.dot(intrinsic_matrix, camera_coords[:3]) # 应用内参矩阵 if camera_coords[2] > 0: # 确保点在摄像机前方 normalized_pixel = (pixel_coords / pixel_coords[2]).astype(int) # 归一化像素坐标 if 0 <= normalized_pixel[0] < 640 and 0 <= normalized_pixel[1] < 480: # 检查边界条件 projected_points.append(normalized_pixel[:2]) return np.array(projected_points) def fuse_point_cloud_with_color(points, rgb_array, projected_points): """ 给点云赋予对应的颜色信息 """ colors = [] for proj_point in projected_points: color = rgb_array[int(proj_point[1]), int(proj_point[0])] # 提取对应像素的颜色 colors.append(color) fused_pcd = o3d.geometry.PointCloud() fused_pcd.points = o3d.utility.Vector3dVector(points) fused_pcd.colors = o3d.utility.Vector3dVector(colors) return fused_pcd # 主程序入口 if __name__ == "__main__": # 参数设置 point_cloud_file = "path/to/pointcloud.ply" rgb_image_file = "path/to/image.png" # 内参矩阵（假设已知） intrinsic_matrix = np.array([[617.5, 0, 320], [0, 617.5, 240], [0, 0, 1]]) # 外参矩阵（假设已知） extrinsic_matrix = np.eye(4) # 步骤执行 points, raw_pcd = load_point_cloud(point_cloud_file) rgb_array = load_rgb_image(rgb_image_file) projected_points = project_points_to_image(points, intrinsic_matrix, extrinsic_matrix) fused_pcd = fuse_point_cloud_with_color(points, rgb_array, projected_points) # 可视化结果 o3d.visualization.draw_geometries([fused_pcd]) ``` 以上代码实现了从点云文件和 RGB 文件中读取数据，将点云投影至图像平面，并给点云赋上相应的颜色信息[^1]。最终生成了一个带颜色的点云模型，并通过 `open3d` 进行可视化[^2]。 --- ### 关键技术说明 1. **点云加载**：利用 `open3d` 中的 `read_point_cloud()` 方法加载 PLY 或其他格式的点云文件。 2. **图像加载**：使用 Pillow (`PIL`) 来加载并预处理 RGB 图像，确保其尺寸匹配点云投影需求。 3. **几何变换**：通过内外参数矩阵完成点云向图像坐标的转换[^4]。 4. **色彩映射**：提取投影后的点所对应的像素值作为该点的颜色属性[^1]。 ---