要实现基于MediaPipeUnityPlugin的手部模型抓取动作控制，核心在于将MediaPipe检测到的21个手部关键点数据，通过坐标映射、深度模拟和物理系统集成，驱动Unity中的虚拟手模型完成抓取、释放等交互动作。以下是具体的技术实现方案。 ## 一、 核心技术架构与数据流 整个系统的数据流遵循 **“图像输入 → MediaPipe推理 → 关键点提取 → 坐标变换 → 模型驱动 → 物理交互”** 的流程。 | 处理阶段 | 关键组件/技术 | 输出/作用 | | :--- | :--- | :--- | | **图像输入** | Unity WebCamTexture / ImageSource | 提供RGB图像流 [ref_3][ref_4] | | **MediaPipe推理** | HandLandmarker Graph / Solution | 输出21个手部关键点的归一化2D/3D坐标 [ref_1][ref_2] | | **坐标变换** | 自定义映射算法、深度模拟 | 将归一化坐标转换为Unity世界坐标，并估算深度 [ref_1][ref_2] | | **模型驱动** | 骨骼动画 / 顶点混合 | 驱动虚拟手模型的骨骼或Mesh匹配真实手势 | | **物理交互** | Unity Collider & Rigidbody | 实现抓取、碰撞检测等物理交互 [ref_1] | ## 二、 手部模型驱动实现 ### 1. 关键点数据获取与解析 首先，需要从MediaPipe的Solution中实时获取手部关键点数据。 ```csharp // 示例：在自定义的Solution脚本中获取并解析手部关键点数据 public class HandTrackingSolution : Solution { // 存储当前帧的手部关键点列表 public List<NormalizedLandmark> currentHandLandmarks; protected override void OnHandLandmarksOutput(object stream, HandLandmarkList handLandmarkList) { if (handLandmarkList != null && handLandmarkList.Landmark.Count > 0) { // 获取第一只手的关键点（假设单手交互） currentHandLandmarks = handLandmarkList.Landmark; // 触发数据更新事件，供其他脚本使用 OnLandmarksUpdated?.Invoke(currentHandLandmarks); } } } ``` ### 2. 坐标映射与深度模拟 MediaPipe输出的3D坐标是相对于手腕根部的相对坐标（Z轴为深度），需转换为Unity世界坐标。对于仅使用2D坐标的情况，需要通过算法模拟深度 [ref_1][ref_2]。 ```csharp public class HandDataProcessor : MonoBehaviour { public HandTrackingSolution handSolution; public Camera mainCamera; // 用于深度模拟的参考距离（如食指与拇指指尖的距离） private float referencePinchDistance; void Update() { if (handSolution.currentHandLandmarks == null) return; // 1. 获取关键点（示例：获取手腕(0)和食指指尖(8)） var wrist = handSolution.currentHandLandmarks[0]; var indexTip = handSolution.currentHandLandmarks[8]; // 2. 将归一化屏幕坐标转换为Unity视口坐标 Vector3 wristScreenPos = new Vector3(wrist.X, 1 - wrist.Y, 0); // Y轴翻转 Vector3 indexTipScreenPos = new Vector3(indexTip.X, 1 - indexTip.Y, 0); // 3. 估算深度（基于关键点间距离变化模拟） float currentPinchDistance = Vector2.Distance( new Vector2(wrist.X, wrist.Y), new Vector2(indexTip.X, indexTip.Y) ); // 假设初始状态时，手距离摄像头约0.5米，此时捏合距离为referencePinchDistance float estimatedDepth = 0.5f * (referencePinchDistance / currentPinchDistance); // 4. 转换为世界坐标 Vector3 wristWorldPos = mainCamera.ViewportToWorldPoint( new Vector3(wristScreenPos.x, wristScreenPos.y, estimatedDepth) ); // ... 同理计算其他关键点的世界坐标 } } ``` ### 3. 驱动虚拟手模型 根据计算出的世界坐标，驱动模型。有两种主流方法： **方法A：骨骼驱动（适用于带骨骼的模型）** ```csharp public class HandBoneDriver : MonoBehaviour { public Transform[] boneTransforms; // 对应21个关键点的骨骼Transform private HandDataProcessor dataProcessor; void Update() { for (int i = 0; i < boneTransforms.Length; i++) { if (dataProcessor.GetWorldPosition(i, out Vector3 targetPos)) { // 直接设置骨骼位置（或使用平滑插值） boneTransforms[i].position = Vector3.Lerp( boneTransforms[i].position, targetPos, Time.deltaTime * smoothSpeed ); } } } } ``` **方法B：顶点混合/变形（适用于静态Mesh）** 通过Shader或Mesh变形，使模型顶点贴合关键点位置，适合风格化手部模型。 ## 三、 抓取动作的实现逻辑 抓取动作的核心是检测特定手势（如捏合）并触发物理抓取。 ### 1. 手势状态检测 ```csharp public class GestureDetector : MonoBehaviour { public HandDataProcessor dataProcessor; // 定义“捏合”手势：拇指尖(4)与食指尖(8)距离小于阈值 public float pinchThreshold = 0.05f; public bool IsPinching { get; private set; } void Update() { if (dataProcessor.GetWorldPosition(4, out Vector3 thumbTip) && dataProcessor.GetWorldPosition(8, out Vector3 indexTip)) { float distance = Vector3.Distance(thumbTip, indexTip); IsPinching = distance < pinchThreshold; // 可扩展检测其他手势，如握拳（多个指尖靠近掌心） } } } ``` ### 2. 物理抓取系统 在虚拟手模型上附加碰撞体和刚体，通过射线检测或触发器实现抓取 [ref_1]。 ```csharp public class PhysicsGrabber : MonoBehaviour { public GestureDetector gestureDetector; public Transform palmTransform; // 手掌中心或抓取点 private GameObject grabbedObject; private FixedJoint grabJoint; void Update() { // 当检测到捏合手势且未抓取物体时，尝试抓取 if (gestureDetector.IsPinching && grabbedObject == null) { TryGrabObject(); } // 当手势松开且已抓取物体时，释放 else if (!gestureDetector.IsPinching && grabbedObject != null) { ReleaseObject(); } // 如果正抓取物体，可更新其位置（例如跟随手掌） if (grabbedObject != null) { // 使用FixedJoint或直接设置位置，确保物理效果 } } void TryGrabObject() { // 从手掌位置向前发射射线 Ray ray = new Ray(palmTransform.position, palmTransform.forward); if (Physics.Raycast(ray, out RaycastHit hit, maxGrabDistance)) { if (hit.rigidbody != null) { grabbedObject = hit.collider.gameObject; // 添加FixedJoint将物体与手连接 grabJoint = gameObject.AddComponent<FixedJoint>(); grabJoint.connectedBody = hit.rigidbody; } } } void ReleaseObject() { if (grabJoint != null) { Destroy(grabJoint); } if (grabbedObject != null) { // 可选：给被释放的物体一个小的速度，模拟抛出 var rb = grabbedObject.GetComponent<Rigidbody>(); if (rb != null) { rb.velocity = GetHandVelocity(); // 需计算手部速度 } grabbedObject = null; } } } ``` ## 四、 性能与稳定性优化策略 为确保实时交互的流畅与稳定，需实施以下优化 [ref_1][ref_3][ref_4]： | 优化方向