## 1. 手眼标定基础概念 想象一下你闭着眼睛伸手去拿桌上的水杯，虽然大脑知道手臂的位置，但不知道杯子在哪里。手眼标定就是解决这个"眼睛看到"和"手臂动作"如何配合的问题。在机器人领域，当机械臂需要根据相机看到的物体位置来执行抓取时，必须知道相机坐标系和机械臂坐标系之间的精确转换关系。 **核心坐标系**就像不同的语言： - **相机坐标系**（{C}）：以相机镜头为中心，描述物体在相机"眼"中的位置 - **机械臂末端坐标系**（{E}）：固定在机械臂夹爪上的坐标系 - **机械臂基坐标系**（{B}）：机械臂的"世界原点"，所有动作都基于这个参考系 **齐次变换矩阵**是坐标系间的"翻译字典"，一个4×4矩阵包含旋转和平移信息： ```python T = [[R11, R12, R13, tx], [R21, R22, R23, ty], [R31, R32, R33, tz], [0, 0, 0, 1 ]] ``` 其中R是3×3旋转矩阵，t是3×1平移向量。这种表示法能用一个矩阵乘法同时处理旋转和平移，就像把旋转和移动打包成一个操作。 ## 2. 眼在手上系统原理 当相机安装在机械臂末端时（就像把手机绑在手上拍照），我们称之为**眼在手上（Eye-in-Hand）**系统。这种情况下，相机随着机械臂移动，而标定板保持静止。 **数学推导过程**： 1. 机械臂运动到位置1时： - 基座到末端变换：T_BE1 - 相机到标定板变换：T_C1W 2. 机械臂运动到位置2时： - 基座到末端变换：T_BE2 - 相机到标定板变换：T_C2W 3. 由于标定板不动，建立等式： ```math T_BE1 * X * T_C1W = T_BE2 * X * T_C2W ``` 4. 定义相对运动： - A = T_BE1⁻¹ * T_BE2（机械臂的相对运动） - B = T_C1W * T_C2W⁻¹（相机的相对运动） 5. 最终得到经典方程： ```math AX = XB ``` 这个方程看起来简单，但求解需要技巧。我第一次实现时，曾因为忽略旋转矩阵的正交性导致结果发散，后来通过SVD分解才解决。 ## 3. AX=XB方程求解 ### 3.1 Tsai-Lenz算法详解 这是最经典的求解方法，把问题拆分为旋转和平移两部分： **旋转部分求解**： 1. 对每组数据计算： ```python # 从A,B中提取旋转矩阵 RA = A[:3,:3] RB = B[:3,:3] # 构建线性方程组 M += np.kron(RB.T, RA) - np.kron(np.eye(3), np.eye(3)) ``` 2. 对M进行SVD分解： ```python U, S, Vt = np.linalg.svd(M) R = Vt.T @ U.T ``` 3. 确保行列式为+1（防止镜像）： ```python if np.linalg.det(R) < 0: Vt[2,:] *= -1 R = Vt.T @ U.T ``` **平移部分求解**： ```python # 构建线性方程组 C = [] d = [] for A, B in pairs: RA = A[:3,:3] tA = A[:3,3] tB = B[:3,3] C.append(RA - np.eye(3)) d.append(R @ tB - tA) t = np.linalg.lstsq(C, d, rcond=None)[0] ``` ### 3.2 Python完整实现 ```python def hand_eye_calibration(A_list, B_list): # 旋转部分 M = np.zeros((9,9)) for A, B in zip(A_list, B_list): RA = A[:3,:3] RB = B[:3,:3] M += np.kron(RB.T, RA) - np.kron(np.eye(3), np.eye(3)) # SVD求解 U, S, Vt = np.linalg.svd(M) R = Vt.T @ U.T # 平移部分 C = [] d = [] for A, B in zip(A_list, B_list): RA = A[:3,:3] tA = A[:3,3] tB = B[:3,3] C.append(RA - np.eye(3)) d.append(R @ tB - tA) t = np.linalg.lstsq(np.vstack(C), np.vstack(d), rcond=None)[0] # 组合为齐次矩阵 X = np.eye(4) X[:3,:3] = R X[:3,3] = t.flatten() return X ``` ## 4. 实际应用与验证 ### 4.1 数据采集技巧 在真实项目中，数据质量决定标定精度： - **运动范围**：机械臂应在工作空间内做多样化运动，我通常采用"螺旋式"路径 - **角度覆盖**：确保绕X/Y/Z轴都有大于30°的旋转 - **标定板姿态**：让标定板在相机视野中呈现不同倾斜角度 - **数据量**：至少15组数据，工业场景建议20-30组 ```python # 示例数据采集代码 def capture_pose(robot, camera): # 获取机械臂位姿 T_BE = robot.get_pose() # 检测标定板 ret, T_CW = camera.detect_calibration_board() if ret: return T_BE, T_CW return None ``` ### 4.2 精度验证方法 标定后必须验证，我常用的方法： 1. **重投影误差**：计算标定板角点转换后的一致性 ```python errors = [] for T_BE, T_CW in data: X_pred = T_BE @ X @ T_CW # 应接近标定板真实位姿 errors.append(np.linalg.norm(X_pred[:3,3] - true_position)) print(f"平均误差：{np.mean(errors):.3f} mm") ``` 2. **实物验证**：让机械臂抓取已知位置的物体，实测定位精度 3. **运动一致性检查**：固定标定板，移动机械臂观察坐标稳定性 ## 5. 常见问题解决 **问题1：标定结果不稳定** - 检查标定板检测精度，尝试不同光照条件 - 增加数据量并确保运动多样性 - 验证机械臂位姿读数是否准确 **问题2：平移部分误差大** - 确保运动包含足够大的位移（建议>10cm） - 检查相机标定参数，特别是畸变校正 - 验证时间同步，机械臂和相机数据需对应同一时刻 **问题3：奇异位形** - 避免纯绕单轴旋转，组合旋转更可靠 - 加入少量随机运动打破对称性 记得第一次工业部署时，因为振动导致相机轻微松动，标定结果每天漂移2-3mm。后来改用金属支架加防松螺丝才解决。硬件稳定性往往比算法更重要。