### 使用MediaPipe实现基于手指弯曲程度的手势数字识别 为了实现实时手势数字识别并将其结果显示在摄像头画面中，需构建一个Python程序。此程序依赖于`mediapipe`和`opencv-python`库用于手部追踪与视频处理，还需借助`numpy`进行数值计算。 #### 安装必要的库 首先安装所需的库： ```bash pip install mediapipe opencv-python numpy pyautogui ``` #### 手指弯曲检测逻辑 定义函数来判断每根手指是否弯曲。通常情况下，如果指尖位置低于对应关节的位置，则认为该手指处于弯曲状态[^1]。 #### 主要代码结构 下面是一个完整的例子展示如何利用这些工具创建应用程序，在其中实现了对手势的捕捉并将结果绘制到图像上。 ```python import cv2 import mediapipe as mp import numpy as np mp_hands = mp.solutions.hands hands = mp_hands.Hands(static_image_mode=False, max_num_hands=1) def finger_bend_status(landmarks): """根据给定的关键点列表返回每个手指的状态""" tipIds = [4, 8, 12, 16, 20] fingers = [] # 大拇指特殊处理 if landmarks[tipIds[0]][1] > landmarks[tipIds[0]-1][1]: fingers.append(1) else: fingers.append(0) for id in range(1, 5): if landmarks[tipIds[id]][2] < landmarks[tipIds[id]-2][2]: fingers.append(1) else: fingers.append(0) return fingers cap = cv2.VideoCapture(0) while cap.isOpened(): ret, frame = cap.read() image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(image_rgb).multi_hand_landmarks gesture_number = None if results is not None and len(results) != 0: handLms = results[0].landmark h, w, c = frame.shape lmList = [[int(lm.x * w), int(lm.y * h)] for lm in handLms] fingers = finger_bend_status(lmList) count_fingers_up = sum(fingers) # 基于抬起的手指数目确定表示的是哪个数字 if all(x == 0 for x in fingers[:]): gesture_number = '0' elif count_fingers_up >= 1 and count_fingers_up <= 5: gesture_number = str(count_fingers_up) for idx, landmark in enumerate(handLms.landmark): cx, cy = int(landmark.x*w), int(landmark.y*h) cv2.circle(frame, (cx,cy), 7, (255,0,0), -1) font = cv2.FONT_HERSHEY_SIMPLEX org = (50, 50) color = (255, 0, 0) thickness = 2 if gesture_number is not None: frame = cv2.putText( img=frame, text=f'Gesture Number:{gesture_number}', org=(org), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=color, thickness=thickness ) cv2.imshow('Hand Gesture Recognition', frame) key = cv2.waitKey(1) if key & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` 这段代码展示了如何设置环境、初始化MediaPipe Hands模型，并编写循环读取来自摄像机的画面帧。对于每一帧都会尝试找到一只手的存在；一旦发现就会分析其姿态特征——特别是各个手指尖相对于其他部分的位置关系以决定它们是否伸直或蜷曲。最后一步是在屏幕上画出手形轮廓的同时也显示出所代表的具体数字符号。