【买机器人，上BFT】香港大学联合项目论文解读 |Bunny-VisionPro：用于模仿学习的低成本实时双臂灵巧遥操作系统

研究背景

在机器人遥操作领域，双臂灵巧手的协同控制一直是难点。现有系统普遍面临三大挑战：一是难以精准协调双手完成复杂操作，二是缺乏有效的触觉反馈导致沉浸感不足，三是在保证安全性（如碰撞、奇异点规避）的同时难以维持实时性能。这些问题直接限制了高质量人类演示数据的收集，进而影响下游模仿学习的效果。

香港大学与加州大学圣地亚哥分校联合研发的Bunny-VisionPro系统，以VR头显（Apple Vision Pro）为核心交互载体，通过创新的模块化设计，解决了上述痛点：

• 提出低成本触觉反馈方案，增强操作者沉浸感；

• 实现实时碰撞与奇异点规避，保障操作安全性；

• 显著提升遥操作成功率和效率，同时优化模仿学习的泛化能力。

---

研究中的核心方法

Bunny-VisionPro的核心优势源于三个创新模块的协同设计：

1. 手臂运动控制模块

• 功能：基于操作者腕部姿态，实时计算机器人手臂关节角度，同时处理碰撞规避与奇异点问题。

• 创新点：无需高端GPU，通过统一优化目标（融合逆运动学、碰撞成本、奇异点成本）实现高效计算，确保实时性（>60Hz）。

• 碰撞规避：将机器人连杆建模为球体集合，通过简化距离计算加速碰撞检测；

• 奇异点规避：基于雅可比矩阵行列式的可操作度指标，仅在接近奇异点时触发惩罚机制。

2. 灵巧手重定向模块

• 功能：将人类手指运动精准映射到机器人手，支持含环形关节（如四杆机构）的灵巧手。

• 创新点：通过低维优化（仅考虑主动关节）处理被动关节约束，相比传统方法提速多倍，实现300Hz实时重定向。

• 优化目标：最小化人类与机器人指尖向量差异，同时保证关节运动平滑性。

3. 触人体觉反馈模块

• 设计：采用低成本偏心旋转质量（ERM）致动器，搭配指套为操作者提供触觉反馈。

• 信号处理：通过零漂移校准和低通滤波优化机器人手部FSR 传感器数据，再通过PWM调制驱动振动电机，增强操作精准度。

4. 系统协同设计

• 模块化架构：各模块独立运行，避免延迟累积；

• 双臂初始化对齐：支持多种模式（如分别对齐、中心对齐），动态匹配人类与机器人双手间距，确保协同自然。

图1：远程操作系统。操作员分别使用手指和手腕姿势来控制机器人的手和手臂。该系统的视觉和触觉反馈，再结合其四项实时功能，为操作员提供了直观且身临其境的VR体验。

---

硬件配置

机械臂：2台UFactory xArm-7机械臂（7 自由度），每台配备6自由度Ability 手，总自由度24；每个手指含30个FSR触觉传感器。

视觉设备：2 台 RealSense L515相机，分别置于机器人工作空间前方和顶部，用于捕捉视觉数据。

计算设备：CPU为i7-12700KF，无需GPU支持实时运算。

交互设备：Apple Vision Pro（用于跟踪手部姿态）、配备ERM致动器的指套（提供触觉反馈）。

---

实验设计与验证

任务测试

(a)苹果Vision Pro捕捉到的手部姿势被转换为机器人运动控制指令，用于实时远程操作。机器人通过Vision Pro和配备执行器的指套向操作员提供包括视觉和触觉在内的感官反馈。(b)设计了不同的短期任务（左列）和长期任务（右列），以评估远程操作性能及其在模仿学习中的应用。

模仿学习

研究团队通过训练流行的模仿学习算法（ACT、扩散策略和 DP3），并测试其在空间泛化和未知场景下的泛化性能，来评估系统收集的演示质量。此外，还训练了一些具有挑战性的长视域任务，以展示系统在收集高质量演示方面的有效性。

实时双臂遥操系统上线啦!

表1：遥操作系统评估。我们对采集成功率（Success）、片段长度（EpLen）、采集时间（单位：分钟，Time）以及机械臂的关节位置变化（∆Qpos）进行了测量。

表2：现实世界任务的模仿学习。成功率（SR）基于10次试验，其中SR-SG表示空间泛化的成功率，SR-U表示对未见物体的成功率。

对比实验

手臂运动控制：Bunny-VisionPro 与 AnyTeleop+

在以下视频中可以看到，AnyTeleop+出现了一些奇怪的行为，例如第 2 关节运动过度、手臂意外下垂等。此外，它还存在延迟不稳定的问题，无法实时跟踪目标末端执行器（半透明球）的位置。

相比之下，Bunny-VisionPro 的运动轨迹更加自然、稳定且响应迅速，不仅提升了远程操作的精度和效率，还能收集高质量的数据，从而实现有效的模仿学习。

关键成果与突破

• 突破双臂灵巧遥操作瓶颈，实现低成本下的实时协同控制与安全保障。

• 以低成本触觉反馈，革新交互体验，增强操作沉浸感。

• 提升模仿学习数据质量，显著增强其在复杂场景中的泛化能力。

• 降低双臂灵巧机器人应用门槛，推动技术向实际场景落地。

结语

Bunny-VisionPro 通过模块化设计与创新算法，突破了双臂灵巧遥操作的核心瓶颈，在安全性、实时性和沉浸感上实现了兼顾。其低成本方案与高效数据收集能力，为模仿学习提供了高质量演示数据，推动了复杂机器人操作任务的落地。

该研究为双臂机器人遥操作与模仿学习领域提供了新范式，有望在工业协作、远程服务等场景中发挥重要作用。

项目详情：https://dingry.github.io/projects/bunny_visionpro.html