要实现一个利用 OpenCV 和 MediaPipe 实现手势识别以控制电子书翻页的系统，核心架构是**“Python 端（感知）+ 网络通信 + Unity 端（执行）”**。下面将详细分解其实现步骤、关键代码和设计逻辑。 ### 一、 系统架构与工作流程 整个系统可以分为三个主要模块，其数据流如下图所示： | 模块 | 技术栈 | 核心功能 | 输出 | | :--- | :--- | :--- | :--- | | **图像采集与手势识别** | OpenCV, MediaPipe | 调用摄像头，捕获视频流，检测手部21个关键点。 | 归一化的手部关键点坐标 (x, y, z)。 | | **手势逻辑解析** | Python 逻辑 | 基于关键点坐标（如食指指尖、手腕），定义特定手势（如左挥、右挥）。 | 解析出的具体手势指令（如 “NEXT_PAGE”, “PREV_PAGE”）。 | | **网络通信** | UDP Socket | 将手势指令从 Python 端发送到 Unity 客户端。 | 通过 UDP 协议发送的字符串或 JSON 数据包。 | | **Unity 客户端执行** | C# (Unity) | 接收 UDP 数据包，解析手势指令，触发对应的翻页动画或逻辑。 | 电子书页面的翻页效果。 | 工作流程为：摄像头画面 -> OpenCV 捕获 -> MediaPipe 提取手部关键点 -> 自定义手势算法判断挥手方向 -> 通过 UDP 发送指令 -> Unity 接收并执行翻页。 ### 二、 Python 端实现详解 Python 端负责核心的视觉感知。以下代码整合了摄像头读取、手势识别和简单的挥手方向判断逻辑。 ```python import cv2 import mediapipe as mp import socket import time import json # 初始化MediaPipe Hands [ref_2][ref_3][ref_4] mp_hands = mp.solutions.hands mp_drawing = mp.solutions.drawing_utils hands = mp_hands.Hands( static_image_mode=False, max_num_hands=1, # 为了简化，先识别一只手，参考[ref_1]的代码逻辑 min_detection_confidence=0.5, min_tracking_confidence=0.5 ) # 初始化UDP Socket [ref_1] UDP_IP = "127.0.0.1" # Unity客户端IP UDP_PORT = 5065 # 端口号需与Unity端一致 sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 初始化OpenCV摄像头 cap = cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) # 手势状态变量 prev_x = None horizontal_threshold = 30 # 水平移动像素阈值，用于判断挥手[ref_1] pos_buffer = [] # 位置缓冲区，用于平滑和判断 while cap.isOpened(): success, image = cap.read() if not success: continue # 水平翻转图像，使交互更直观（镜像） image = cv2.flip(image, 1) image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # MediaPipe处理 [ref_2] results = hands.process(image_rgb) if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: # 绘制手部关键点和连接线 [ref_3][ref_4] mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS) # 获取关键点坐标（这里以手腕点8和食指指尖点8为例） # 关键点索引参考MediaPipe文档：https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker wrist = hand_landmarks.landmark[mp_hands.HandLandmark.WRIST] index_tip = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP] h, w, c = image.shape # 将归一化坐标转换为像素坐标 wrist_x, wrist_y = int(wrist.x * w), int(wrist.y * h) index_x, index_y = int(index_tip.x * w), int(index_tip.y * h) # 在图像上绘制关键点 cv2.circle(image, (index_x, index_y), 10, (0, 255, 0), cv2.FILLED) cv2.circle(image, (wrist_x, wrist_y), 10, (255, 0, 0), cv2.FILLED) # --- 核心手势逻辑：判断水平挥手 --- # 使用食指指尖在水平方向上的移动来判断 [ref_1] 中的简化逻辑 current_x = index_x if prev_x is not None: # 计算帧间位移 delta_x = current_x - prev_x pos_buffer.append(delta_x) # 保持缓冲区大小，例如最近5帧 if len(pos_buffer) > 5: pos_buffer.pop(0) # 判断挥手：如果缓冲区内的累计位移超过阈值 if len(pos_buffer) == 5: total_delta = sum(pos_buffer) gesture = "NONE" if total_delta > horizontal_threshold: gesture = "PREV_PAGE" # 向右挥手，翻到上一页（镜像后） print("手势: 向左挥手 (PREV_PAGE)") pos_buffer.clear() # 清空缓冲区，防止连续触发 elif total_delta < -horizontal_threshold: gesture = "NEXT_PAGE" # 向左挥手，翻到下一页（镜像后） print("手势: 向右挥手 (NEXT_PAGE)") pos_buffer.clear() # 通过网络发送手势指令 [ref_1] if gesture != "NONE": message = json.dumps({"gesture": gesture, "x": index_x, "y": index_y}) sock.sendto(message.encode(), (UDP_IP, UDP_PORT)) prev_x = current_x # 显示FPS cv2.putText(image, f"FPS: {int(1/(time.time()-prev_time))}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) prev_time = time.time() cv2.imshow('Hand Gesture for Page Turning', image) if cv2.waitKey(5) & 0xFF == 27: # 按ESC退出 break cap.release() cv2.destroyAllWindows() hands.close() ``` *代码关键点说明*： 1. **初始化**：第8-13行初始化 MediaPipe Hands 模型，这是手势识别的核心 [ref_2][ref_3]。 2. **坐标转换**：第45-48行将 MediaPipe 返回的归一化坐标转换为图像上的像素坐标，便于后续计算和绘制。 3. **手势逻辑**：第51-78行是实现翻页控制的核心。通过跟踪食指指尖（`INDEX_FINGER_TIP`）的水平位移，并计算一个滑动窗口（`pos_buffer`）内的累计位移来判断挥手方向。这是一种简单有效的触发方式，参考了 [ref_1] 中的思路。 4. **网络通信**：第74行将识别出的手势封装成 JSON 格式（例如 `{"gesture": "NEXT_PAGE"}`），并通过 UDP 协议发送出去，这是与 Unity 端通信的桥梁 [ref_1]。 ### 三、 Unity 端（C#）实现详解 Unity 端作为客户端，负责接收指令并控制电子书翻页。核心是创建一个 UDP 接收线程。 ```csharp using UnityEngine; using System; using System.Net; using System.Net.Sockets; using System.Threading; using System.Collections.Concurrent; public class UDPGestureReceiver : MonoBehaviour { public string hostIP = "127.0.0.1"; public int port = 5065; private Socket socket; private Thread receiveThread; private bool isRunning = false; // 使用线程安全的队列来传递数据 private ConcurrentQueue<string> dataQueue = new ConcurrentQueue<string>(); // 定义翻页事件，可以在Inspector中关联翻页动画或逻辑 public UnityEngine.Events.UnityEvent onNextPage; public UnityEngine.Events.UnityEvent onPrevPage; void Start() { InitSocket(); } void InitSocket() { try { socket = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp); socket.SetSocketOption(SocketOptionLevel.Socket, SocketOptionName.ReuseAddress, true); IPEndPoint localEndPoint = new IPEndPoint(IPAddress.Parse(hostIP), port); socket.Bind(localEndPoint); isRunning = true; receiveThread = new Thread(new ThreadStart(ReceiveData)); receiveThread.IsBackground = true; receiveThread.Start(); Debug.Log("UDP 接收器初始化成功，监听端口: " + port); } catch (Exception e) { Debug.LogError("Socket 初始化失败: " + e.Message); } } void ReceiveData() { byte[] data = new byte[1024]; EndPoint remote = new IPEndPoint(IPAddress.Any, 0); while (isRunning && socket != null) { try { // 阻塞式接收数据，参考[ref_1]中的接收逻辑 int len = socket.ReceiveFrom(data, ref remote); string message = System.Text.Encoding.UTF8.GetString(data, 0, len); // 将收到的数据放入队列，在主线程中处理 dataQueue.Enqueue(message); } catch (SocketException e) { // 正常关闭时的异常忽略 if (isRunning) Debug.LogWarning("接收数据时出错: " + e.Message); } } } void Update() { // 在主线程中处理接收到的数据，避免多线程问题 while (!dataQueue.IsEmpty && dataQueue.TryDequeue(out string jsonData)) { ProcessGesture(jsonData); } } void ProcessGesture(string jsonData) { try { // 解析JSON数据，例如 {"gesture": "NEXT_PAGE"} GestureData gestureData = JsonUtility.FromJson<GestureData>(jsonData); if (gestureData != null) { Debug.Log("收到手势指令: " + gestureData.gesture); switch (gestureData.gesture) { case "NEXT_PAGE": onNextPage?.Invoke(); // 触发翻到下一页的事件 break; case "PREV_PAGE": onPrevPage?.Invoke(); // 触发翻到上一页的事件 break; } } } catch (Exception e) { Debug.LogWarning("解析手势数据失败: " + e.Message + " 原始数据: " + jsonData); } } void OnDestroy() { isRunning = false; if (socket != null) { socket.Close(); socket = null; } if (receiveThread != null && receiveThread.IsAlive) { receiveThread.Join(); } } // 用于JSON解析的数据结构 [System.Serializable] private class GestureData { public string gesture; public float x; public float y; } } ``` *代码关键点说明*： 1. **异步接收**：`ReceiveData` 方法运行在独立的线程中，持续监听 UDP 端口，避免阻塞 Unity 主线程。这是处理网络数据的常见模式。 2. **线程安全**：使用 `ConcurrentQueue<string>` 来安全地将接收到的数据从后台线程传递到主线程的 `Update` 方法中处理 [ref_1]。 3. **事件驱动**：第12-13行定义了 `UnityEvent`，允许在 Unity 编辑器中直接将手势事件（如 `onNextPage`）与具体的翻页动画、脚本方法或 UI 按钮进行绑定，实现高度解耦。 4. **数据解析**：`ProcessGesture` 方法解析从 Python 端发来的 JSON 字符串，并根据 `gesture` 字段的值触发相应的事件。 ### 四、 应用场景与优化建议 此方案不仅适用于电子书翻页，经过简单修改可广泛应用于多种非接触式交互场景： * **教育演示**：在课堂或展览中，演讲者通过手势远程控制PPT翻页。 * **体感游戏**：定义握拳、张开手掌等手势作为游戏内的攻击、防御指令。 * **虚拟实验室**：正如您最初问题中提到的，可以映射更复杂的手势（如捏合、旋转）来**控制虚拟化学试剂的倾倒、混合**，完成虚拟实验流程。 **优化建议**： 1. **手势鲁棒性**：当前方案使用简单的水平位移阈值，容易误触发。可以引入**状态机**（如 [ref_1] 中提到的“有穷自动状态机”）或更复杂的轨迹分析，例如要求手势在特定方向持续移动一定距离才触发。 2. **通信协议**：使用 JSON 格式便于扩展。未来可增加 `confidence`（置信度）、`handedness`（左手/右手）等字段。 3. **性能与部署**：如需部署，可参考 [ref_1] 使用 PyInstaller 将 Python 脚本打包为独立 EXE 文件。注意打包时需包含 MediaPipe 依赖。 4. **多手势支持**：利用 MediaPipe 提供的 21 个关键点（如指尖距离、手指弯曲角度）定义更丰富的手势库，例如“OK”手势、“数字”手势等，实现更精细的控制。