要实现实时检测并稳定地绘制长方体目标的边界框，以下是具体的方案及Python代码实现步骤： --- ### 核心思路 1. **摄像头初始化** 使用 `cv2.VideoCapture()` 打开默认摄像头。 2. **边缘检测与轮廓提取** 利用 OpenCV 的 Canny 边缘检测算法找到图像中的显著特征；再通过 `cv2.findContours()` 提取物体的外接矩形区域。 3. **最小包围盒拟合** 对于任意角度下的长方体旋转情况，我们使用 `cv2.minAreaRect()` 和 `cv2.boxPoints()` 来拟合最小面积包围盒（Rotated Rectangle）。这种方法能够适应长方体的不同旋转状态。 4. **减少闪烁问题** - 引入平滑滤波器对连续帧的目标位置进行跟踪。 - 设定一个简单的置信度阈值过滤掉不稳定的小范围抖动。 - 确保当两个相邻帧中目标变化不大时保持一致的结果。 5. **显示识别结果** 将计算得到的四边形坐标绘制到原始视频流上，并附加标签标识“Cube”。 --- ### 示例代码 ```python import cv2 import numpy as np # 初始化摄像头 cap = cv2.VideoCapture(0) if not cap.isOpened(): print("无法打开摄像头") exit() def process_frame(frame): """ 主处理函数： 输入一帧画面 -> 输出带标注的画面 """ # 转灰度图 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 应用高斯模糊降噪 blurred = cv2.GaussianBlur(gray, (9, 9), 0) # 边缘检测(Canny Edge Detection) edges = cv2.Canny(blurred, threshold1=50, threshold2=150) # 寻找所有轮廓 contours, _ = cv2.findContours(edges.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes = [] for contour in contours: # 过滤小尺寸噪声 if cv2.contourArea(contour) < 100: continue # 最小面积矩形拟合 rect = cv2.minAreaRect(contour) # 获取四个角点 box = np.intp(cv2.boxPoints(rect)) boxes.append(box) return frame, boxes # 平滑缓冲区设定 last_boxes = None while True: ret, frame = cap.read() if not ret: break original_frame = frame.copy() # 保留原图用于显示 processed_frame, detected_boxes = process_frame(original_frame) # 如果有新盒子，则更新缓冲区 if len(detected_boxes) > 0 and last_boxes is not None: # 检测是否变化过大，若未变则沿用之前的结果避免频繁闪烁 diff = abs(len(last_boxes) - len(detected_boxes)) <= 1 if diff: detected_boxes = last_boxes # 更新缓存 last_boxes = detected_boxes # 绘制结果 for i, box in enumerate(detected_boxes): color = (np.random.randint(0, 256), np.random.randint(0, 256), np.random.randint(0, 256)) cv2.drawContours(processed_frame, [box], -1, color, thickness=2) x_avg = int(np.mean([point[0] for point in box])) y_avg = int(np.mean([point[1] for point in box])) cv2.putText(processed_frame, f"Box-{i+1}", (x_avg, y_avg), cv2.FONT_HERSHEY_SIMPLEX, 0.7, color, 2) # 展示效果 cv2.imshow("Long Cube Detector", processed_frame) key = cv2.waitKey(1) if key == ord('q'): # 按 Q 键退出程序 break # 清理资源 cap.release() cv2.destroyAllWindows() ``` --- ### 关键细节解析 #### 减少闪烁现象 - 我们记录前一帧发现的所有立方体信息 (`last_boxes`) ，并与当前帧对比。如果两者差异较小（例如：数目相差不超过 ±1），我们会复用之前的检测结果以保证稳定性。 - 此策略尤其适合快速运动场景下维持连贯性。 #### 参数调节 - **`threshold1`, `threshold2`**: 控制Canny算子灵敏程度，默认分别为`50`,`150`. - **`contourArea`:** 排除小于一定像素面积的对象作为干扰项. #### 性能优化建议 - 如果需要更高精度和效率，推荐结合深度学习模型（如Yolo或Mask R-CNN）替代传统方法完成复杂背景下的精确分割。 - GPU硬件加速可以大幅提升实时运算能力。 ---