要使用 Python、YOLO 和 OpenCV 实现从摄像头捕获图像并进行三维坐标计算的功能，首先需要明确几个概念： 1. **YOLO（You Only Look Once）** 是一种实时目标检测算法。它可以快速识别出图片或视频流中的物体类别及其位置。 2. **OpenCV** 提供了丰富的计算机视觉工具，可以帮助我们处理图像和视频数据，例如读取摄像头画面等。 3. **三维坐标计算** 需要知道相机内参矩阵以及深度信息（可以通过立体摄像机或多目摄像机获取），单目摄像机无法直接获得真实世界的三维空间距离。 以下代码示例展示如何结合 YOLOv5 模型与 OpenCV 来完成电脑摄像头的目标检测任务，并尝试模拟简单的“伪”三维坐标计算逻辑（注意：这仅适用于某些特定假设条件下的近似估计）。如果需要更准确的结果，则需引入双目/RGBD设备及相关标定参数。 ### 代码 ```python import cv2 from ultralytics import YOLO # 加载预训练模型 (这里以官方提供yolov8n为例) model = YOLO('yolov8n.pt') def calculate_3d_position(box, depth): """ 根据边界框及已知深度值简单估算其世界坐标系下中心点的位置(单位:m)。 参数: box(list): [x_min,y_min,x_max,y_max]形式的矩形区域范围. depth(float): 物体距摄像头的距离(m). 返回: tuple: 近似的(x,y,z)三维坐标。 """ x_center = (box[0]+box[2]) / 2 y_center = (box[1]+box[3]) / 2 # 假设焦距f=600像素，实际应用中应根据具体相机校准得到该数值！ f = 600 width = abs(box[2]-box[0]) height = abs(box[3]-box[1]) X = ((x_center - frame.shape[1]/2)/f)*depth # 计算X方向偏移量 Y = ((frame.shape[0]/2-y_center)/f)*depth # 计算Y方向偏移量 Z = depth # 已给定Z轴即深度值 return round(X, 2), round(Y, 2), round(Z, 2) cap = cv2.VideoCapture(0) if not cap.isOpened(): print("Cannot open camera") else: while True: ret, frame = cap.read() if not ret: break results = model(frame)[0] for result in results.boxes.data.tolist(): x1, y1, x2, y2, score, class_id = map(int, result[:6]) label = f"{results.names[class_id]} {score:.2f}" # 绘制边框和标签文本 cv2.rectangle(frame,(x1,y1),(x2,y2),(255,0,0),2) cv2.putText(frame,label,(x1+5,y1-5), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=0.7,color=(0,255,0)) estimated_depth = None # 此处添加自己测得的实际景深数据 xyz = calculate_3d_position([x1,y1,x2,y2],estimated_depth) pos_info=f"Position:{xyz}" # 在图上标注三维坐标信息 cv2.putText(frame,pos_info,(x1+5,y2+15), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=0.7,color=(0,0,255)) cv2.imshow('Object Detection',frame) keypress = cv2.waitKey(1)&0xFF if keypress == ord('q'): break cap.release() cv2.destroyAllWindows() ``` --- ### 解释 #### 主要步骤说明： 1. **加载模型**: 使用 `ultralytics` 库加载 yolov8 的 pytorch 检查点文件； 2. **定义辅助函数**: 创建了一个名为 `calculate_3d_position()` 方法用于基于二维平面内的定位结果推断可能存在的对应于现实场景里的相对位置关系； 3. **访问硬件资源**: 开启本地默认摄像头作为输入源并通过循环不断抓拍当前帧； 4. **推理预测过程**: 将每一帧送入网络执行前向传播操作从而返回包含各分类概率得分连同相应包围盒坐标的输出结构； 5. **可视化效果呈现**: 最后将所得结论反馈至用户界面同时附加额外文字描述如物品名置信度等级以及推测出来的大致方位指示等内容； 需要注意的是上述实现里面关于第三维度的信息其实是缺失掉的因为单单依靠单一视角很难确切判定远近距离所以这部分只能靠外部手段补充比如利用ToF传感器或者结构光模组等等技术生成密集点云再配合几何建模还原真实的物理尺寸规格否则单纯凭借传统光学成像原理根本做不到这一点因此在项目规划初期就要充分考虑到这些限制因素的影响合理安排软硬件搭配方案才能取得最佳成果表现。 ---