### Python 实现 '眼在手外' 的相机标定坐标转换方法 #### 背景说明 相机标定的核心在于建立世界坐标系、相机坐标系以及图像像素坐标系之间的映射关系。对于工业机器人应用中的“眼在手外”配置，相机固定于外部位置而非安装在机械臂末端执行器上。这种情况下，需要额外考虑相机相对于机械臂基座的位置和姿态。 具体来说，“眼在手外”的标定涉及两个主要部分： 1. **相机内部参数校准**：通过棋盘格或其他已知图案获取相机的焦距、主点偏移等内在参数[^1]。 2. **外部几何关系求解**：计算相机与机械臂基座之间相对位姿（即旋转和平移），这通常依赖于多次采集数据并利用优化算法完成[^2]。 以下是基于Python的具体实现流程： --- #### 步骤描述及代码示例 ##### 1. 数据准备阶段 为了得到足够的约束条件来解决未知变量，在不同姿势下让机械手臂带动标记物移动至多个预设地点，并记录每一步对应的关节角度θi以及相应图片内的特征点坐标ui,vj。 ```python import numpy as np from scipy.spatial.transform import Rotation as R # 假设有N组实验数据 num_poses = N # 替换为实际数量 world_points = [] # 存储世界坐标下的标准点集 (单位:mm 或 m) image_points = [] # 对应各次拍照所得图像上的投影点集合 for _ in range(num_poses): wp = ... # 获取当前帧的世界坐标点列表 [[x,y,z],...] ip = ... # 提取匹配好的同名像平面点 [(u,v),...] world_points.append(wp) image_points.append(ip) # 将其转成numpy array形式便于后续处理 world_points = np.array(world_points).reshape(-1,3) # shape=(M*P,3)，其中P代表单幅图里检测到的目标数 image_points = np.array(image_points).astype('float32').reshape(-1,2) # 同理调整大小 ``` ##### 2. 利用OpenCV库进行初步估计 调用`cv2.calibrateCamera()`函数可以同时估算内外参矩阵K,R,t[]: ```python import cv2 # 初始化一些必要的输入参数 objp = np.zeros((chessboard_rows * chessboard_cols, 3), dtype=np.float32) objp[:, :2] = np.mgrid[0:chessboard_cols, 0:chessboard_rows].T.reshape(-1, 2)*square_size ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( objectPoints=world_points, imagePoints=image_points, imageSize=img.shape[::-1], cameraMatrix=None, distCoeffs=None ) print("Intrinsic Matrix:\n",mtx,"\nDistortion Coefficients:",dist) ``` 此处返回的结果包括但不限于： - `mtx`: 内部参数阵列 `[fx,fy,cx,cy]`. - `rvecs`, `tvecs`: 每个视角关联的一系列旋转向量与平移向量. 注意这里仅完成了基础版型拟合工作；如果追求更高精度，则需引入更复杂的误差修正机制或者采用其他高级工具包比如Theia,Sophus等等进一步细化结果。 ##### 3. 计算最终的手-眼关系 假设我们已经知道若干时刻机器人的末端效应器TCP(TOOL CENTER POINT)处的真实空间定位信息Ee={Re|te}，那么就可以借助之前提到过的那些观测值构建如下方程组： \[ ^{W}_{C}\textbf{T}=^{W}_{B}\textbf{T}*^{B}_{E}\textbf{T}*^{E}_{G}\textbf{T} \] 其中， - \( ^{W}_{C}\textbf{T}=[R_c | T_c ]\): 表征摄像头光学中心相对于全局框架的位置方向； - \( ^{W}_{B}\textbf{T}:=[I_4]\): 设定初始状态时底座不动，默认等于恒等变换； - \( ^{B}_{E}\textbf{T}_k=\left[\begin{array}{cc} cos(\theta_k)&sin(\theta_k )&tx_{ek}\\ -sin(\theta_k)& cos (\theta_k ) &ty_{ek }\\ 0&0&tz_{ek}&1 \\ \end{array}\right]\): 描述第 k 种动作模式下末端连杆端面相对于本体的姿态变化情况； - \( ^{E}_{G}\textbf{T}^{-1}=[R_g|-R_gtg ]\): 反演后的工件固联参照体系表达式。 于是乎整个问题就转化为寻找满足上述公式的唯一解\( ^{E}_{G}\textbf{T} \). 一种常见做法就是运用最小二乘法原理迭代逼近理想答案： ```python def hand_eye_calibration(r_list, t_list, e_rotations, e_translations): """ 使用Tsai-Lenz方法来进行Hand-Eye Calibration 参数: r_list -- list of ndarray(3x3), 相机观察到的不同姿态下的旋转矩阵序列 t_list -- list of ndarray(3,), 相机观察到的不同姿态下的平移向量序列 e_rotations -- list of ndarray(3x3), 已知末端执行器运动产生的旋转矩阵序列 e_translations -- list of ndarray(3,), 已知末端执行器运动产生的平移向量序列 返回: H_e2c -- 手-眼齐次变换矩阵(ndarray(4x4)) """ A = [] b = [] for i in range(len(e_rotations)): Ri = r_list[i]; Ti = t_list[i][:,None] Ei = e_rotations[i]; Pi = e_translations[i][:,None] Ai = np.hstack((-np.dot(Ei.T ,Pi ), Ei.T )) bi = np.ravel(np.dot(Ri.T,(Ti-np.dot(Pi,Ei)))) A.append(Ai);b.extend(bi.tolist()) A,b = map(lambda x:np.vstack(x),(A,b)) u,sigma,vh = np.linalg.svd(A.T@A) v = vh[-1,:].reshape(6,1) omega = v[:3]/v[3:] rho = v[3:] Rx = exp_so3_skew_symmetric(omega) tx = -Rx @rho H_e2c = np.block([[Rx,tx],[0,0,0,1]]) return H_e2c H_e2c = hand_eye_calibration(rvecs, tvecs, robot_end_effector_Rs, robot_end_effector_ts) print("Final Hand-to-Camera Transformation Matrix:\n",H_e2c) ``` 以上便是完整的关于如何使用Python实现‘眼在手外’情形下相机标定过程中涉及到的关键步骤概述及其配套源码片段展示。 --- ####