【论文+硬件】HOMIE:定制外骨骼 、手套和脚踏座舱低成本操控人形机器人+强化学习自主下蹲抓取物体 框架
官方主页:https://homietele.github.io/
论文:2502.HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit
量子位解析:3500元,人形机器人1:1复刻人类动作 | 上海AI Lab开源新成果 | 量子位
一、论文标题解析 :
HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit
HOMIE:同构外骨骼操控舱硬件系统下的人形机器人行走与操作系统
- Humanoid (人形的) :特指具有类人结构的机器人
- Loco-Manipulation (移动操作): 是将 locomotion(移动/行走)和 manipulation(操作/操纵)两类技能结合在一起的一种术语
- Isomorphic (同构的): “同构”即“形态结构相同,当一个外骨骼与某个人形机器人在关节数量、关节位置、运动自由度(DoF)等方面保持一一对应
- Exoskeleton (外骨骼):可穿戴的机械结构
- Cockpit (操控舱)= 外骨骼手臂+运动捕捉手套 + 脚踏板 + 显示反馈系统(可选)
并不是指真正的飞机驾驶舱,而是指整个操作者用于远程操控人形机器人的硬件工作站。具体来说,这个“驾驶舱”包括: 同构外骨骼手臂、高自由度运动捕捉手套、脚踏板(Foot Pedal)以及可选的力反馈/显示屏等)的“人机接口平台”
二、内容简介
HOMIE 项目旨在解决人形机器人在行走与操作(loco-manipulation)任务中的遥操作难题,通过结合强化学习策略与低成本“同构外骨骼”硬件,让单一操作者能够更稳定、快速且精准地控制人形机器人进行步行、下蹲、抓取、搬运等动作。其核心创新包括:
-
强化学习训练框架:在无运动捕捉(MoCap-free)的条件下,通过“上半身姿态课程化训练”、“高度跟踪奖励”和“对称性利用”这三大技术,让机器人能够在随意变化的上半身姿态下保持平衡,并快速下蹲到指定高度,无需依赖任何真实动作示范或先验数据。这套框架可在 Isaac Gym 中,对不同机器人(如 Unitree G1、Fourier GR-1)进行快速训练(约 3 小时即可完成),并直接部署到实机上实现可靠的行走与下蹲能力
-
同构外骨骼硬件系统:搭建由与机器人上肢关节一一对应的外骨骼手臂、一双 15 自由度运动捕捉手套,以及一个脚踏板组成的低成本硬件平台。外骨骼与机器人采用同构设计,使操作者的手臂关节角度可直接映射给机器人,手套的高自由度进一步提高了手部动作的还原度,而脚踏板则用于实时获取行走命令。如此一来,整套系统摈弃了传统的逆运动学(IK)计算,显著降低了时延与误差,从而使遥操作速度和精准度均较现有方法提升约 2 倍。
在此基础上,项目还展示了:
-
实机部署与评估:在 Unitree G1 上实现“行走中上半身姿态变化”、“下蹲(Squat )拿花瓶”、“下蹲抓瓶子”、“人——机器人交接物品”、“开烤箱”、“移箱子”、“推人椅子”等多种复杂任务,并通过对比 OpenTelevision 方法,验证了任务完成时间更短、鲁棒性更高的优势。
-
仿真扩展与模仿学习:将训练好的策略迁移到 GRUtopia 平台,在更丰富的场景中完成多样化的行走与操作任务;同时,利用 HOMIE 驾驶舱采集的示范数据进行模仿学习,在真实机上达到超过 70% 的成功率,证明了硬件采集的示范对下游学习的有效性。