### Python 实现双目视差图和PCL点云图像生成 为了实现双目视差图以及基于该视差图生成点云并显示，可以采用如下方法： #### 使用 OpenCV 和 NumPy 库读取图片并计算视差图 ```python import cv2 import numpy as np # 加载左、右摄像头拍摄到的两幅灰度图像 left_image = cv2.imread('path_to_left_image', 0) right_image = cv2.imread('path_to_right_image', 0) # 创建立体匹配对象 stereo = cv2.StereoBM_create(numDisparities=16, blockSize=15) # 计算视差图 disparity_map = stereo.compute(left_image, right_image).astype(np.float32) / 16.0 cv2.imshow("Disparity Map", disparity_map) cv2.waitKey(0) cv2.destroyAllWindows() ``` 上述代码展示了如何利用 `StereoBM` 方法创建一个简单的立体匹配器实例，并通过调用其 `compute()` 函数获得两张输入图像之间的视差图[^1]。 #### 将视差转换成三维坐标系中的点集（即点云） 对于每一个像素位置 `(u,v)` ，如果已知对应的视差值 d，则可以根据相机参数恢复出真实的深度 z 。之后再根据针孔模型反向求解得到 X,Y 坐标。具体过程如下所示： ```python def get_point_cloud(disparity_img, Q): points_3d = cv2.reprojectImageTo3D(disparity_img, Q) colors = cv2.cvtColor(cv2.imread('path_to_left_color_image'), cv2.COLOR_BGR2RGB) mask = disparity_img > disparity_img.min() out_points = points_3d[mask] out_colors = colors[mask] return out_points, out_colors ``` 这里定义了一个辅助函数 `get_point_cloud()` 来完成从二维平面到三维空间坐标的映射工作；其中Q为四元数形式表示的投影矩阵，在实际应用中通常由校准工具提供[^3]。 #### 利用 PointCloudLibrary (PCL) 显示点云数据 要展示这些点云信息，建议安装 PCL-Python 绑定库以便于后续操作。下面给出一段基本的例子说明怎样把之前获取的数据导入至可视化窗口当中去。 ```python from pcl import * cloud = PointCloud_PointXYZRGBA() points_list = [] for i in range(len(out_points)): pt = PointXYZRGBA( float(out_points[i][0]), float(out_points[i][1]), float(out_points[i][2]), int(out_colors[i].dot([1, 256, 65536])) ) points_list.append(pt) cloud.from_list(points_list) viewer = PCDViewer() viewer.ShowColorPointCloud(cloud) while True: viewer.spinOnce() ``` 这段脚本首先构建了一个新的点云容器用来存储所有的顶点及其颜色属性；接着遍历所有有效样本填充进去形成完整的结构化网格；最后借助专门设计好的查看器类呈现出来供观察者分析研究[^2]。