### OpenCV中的图像到世界坐标系的转换 在计算机视觉领域，将图像上的二维像素坐标 `(u, v)` 转换为三维空间的世界坐标 `(Xw, Yw, Zw)` 是一项重要的任务。这一过程通常涉及相机标定、投影变换以及几何校正等多个步骤。 #### 1. 张正友标定方法概述 张正友标定法是一种常用的单目相机标定技术，通过拍摄一组已知尺寸的棋盘格图案来计算相机的内参矩阵 `K` 和畸变系数 `D`[^1]。这些参数对于后续的图像到世界坐标的转换至关重要。 #### 2. 使用OpenCV进行标定 OpenCV 提供了函数 `cv::findChessboardCorners()` 来检测棋盘格角点的位置[^3]。该函数可以提取出图像上每个角点的像素坐标，并将其存储在一个向量中（即 `std::vector<std::vector<cv::Point2f>> image_points_seq`）。与此同时，还需要定义对应的真实世界坐标 `objectPoints`，通常是基于棋盘格的实际物理尺寸构建的一个标准网格。 完成多幅图片的数据采集后，调用 `cv::calibrateCamera()` 函数即可获得相机的内参矩阵和畸变参数： ```cpp // 输入数据准备 std::vector<std::vector<cv::Point3f>> objectPoints; std::vector<std::vector<cv::Point2f>> imagePoints; // 执行标定 cv::Mat cameraMatrix, distCoeffs; cv::calibrateCamera(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs); ``` 上述代码片段展示了如何利用收集好的对象点与图像点来进行完整的相机标定操作。 #### 3. 图像坐标转世界坐标的具体实现 一旦得到了相机的内参矩阵 `cameraMatrix` 及其外参（旋转和平移矢量），就可以借助它们把任意给定点从图像平面映射回实际场景的空间位置[^2]。具体而言，先依据下述关系式求得归一化后的相机坐标 `(xc, yc)`: \[ \begin{bmatrix} x_c \\ y_c \\ z_c \end{bmatrix} = \lambda \cdot K^{-1} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}, \] 其中 \(K\) 表示相机内参矩阵，而 \(\lambda\) 则是一个比例因子用于恢复深度信息\(Zc\)。接着再应用外部姿态估计得到的结果——旋转向量 `rvec` 和平移向量 `tvec` ——进一步推导最终的世界坐标表达式如下所示： \[ [X_w,Y_w,Z_w]^T = R^{-1}(Z_c - T), \] 这里 \(R\) 对应于由 Rodrigues 公式重构出来的旋转矩阵形式。 以下是具体的 C++ 实现例子： ```cpp void projectToRealWorld(const cv::Point2d& imgPt, const cv::Mat& camMat, const cv::Vec3d& rvec, const cv::Vec3d& tvec, double zCoord, cv::Point3d &worldPt){ // Convert rotation vector to matrix. cv::Mat rotMat; cv::Rodrigues(rvec, rotMat); // Invert the transformation matrices. cv::Mat invRotMat = rotMat.t(); cv::Mat invCamMat = camMat.inv(); // Calculate normalized coordinates. cv::Mat uvHomg(3,1,CV_64F); uvHomg.at<double>(0,0)=imgPt.x; uvHomg.at<double>(1,0)=imgPt.y; uvHomg.at<double>(2,0)=1.; cv::Mat xyzNorm = invCamMat * uvHomg; // Scale by known depth value and transform into world frame. cv::Mat tempXYZ(3,1,CV_64F), transTemp(3,1,CV_64F); tempXYZ.at<double>(0,0) = xyzNorm.at<double>(0,0)*zCoord/xyzNorm.at<double>(2,0); tempXYZ.at<double>(1,0) = xyzNorm.at<double>(1,0)*zCoord/xyzNorm.at<double>(2,0); tempXYZ.at<double>(2,0) = zCoord; transTemp = invRotMat*(tempXYZ-cv::Mat(tvec)); // Assign result values back out. worldPt.x=transTemp.at<double>(0,0); worldPt.y=transTemp.at<double>(1,0); worldPt.z=transTemp.at<double>(2,0); } ``` 此函数接受一个特定深度下的图像点作为输入并返回相应位置处的世界坐标表示。 ---