详解具身智能开源数据集：ARIO（All Robots In One）

1. 基础内容

数据集名称：ARIO（All Robots In One）

发布时间：2024年8月

发布方：鹏城实验室与松灵机器人、南方科技大学、中山大学联合发布

数据集规模：共有258 个场景系列（Series），321064 个任务（tasks），3033188个轨迹片段（Episodes）。这些数据来自3种方式：真实世界采集 +仿真模拟生成+开源数据集转换。

场景统计：如下图（a）所示，主要场景系列包括桌面场景（165个系列）和多种室内场景（如开放区域、多房间、客厅和厨房，共213个系列）；任务数量较多的场景主要集中在桌面、厨房、家庭环境、走廊及多房间场景。轨迹片段数量较多场景主要集中在桌面、多房间、厨房、家庭环境（Households）和走廊，其中桌面场景轨迹片段数量最多，达到212.7万条。

图（b）展示了ARIO数据集中每种技能对应的系列数量、任务数量及轨迹片段数量。

机器人参数统计：数据集统计了各种机器人相关参数，包括机器人形态（如单臂、AGV、轮式、双臂、仿人机器人）、机器人运动对象（如末端执行器、关节和基座）、机器人物理变量（如旋转角度、位置、速度、力或力矩）以及传感器类型和安装位置等。

2. 数据集特点

1）多种感官模态：支持五种感官模态 —— 图像、点云、声音、文本和触觉，旨在提供更丰富和多样化的数据，以增强机器人的感知和交互能力。

2）基于时间戳的对齐机制：基于时间戳实现多传感器数据同步记录，兼容不同采样频率，以确保多模态数据的同步。具体来说，相机数据以30Hz的频率记录，激光雷达数据以10Hz记录，本体感知数据以200Hz记录，触觉数据以100Hz记录。

3）层级化数据架构：数据集采用场景系列（Series）- 任务（Tasks）- 片段（Episodes）的层次结构。Series是指同一个场景和同一个机器人采集的系列数据，如人形机器人在工厂车间采集的系列数据，可能包含不同的任务；Task是一个具体的任务，比如搬运货物，同一个任务可以重复采集多次，Episode是针对某一具体任务的一次完整采集过程。

4）标准化数据格式：统一数据结构，支持多种机器人形态（如单臂、双臂、仿人、四足、移动机器人）及操控对象，简化数据处理。

5）仿真与真实数据集成：数据集涵盖多任务、多场景及多机器人类型的仿真合成数据与真实场景采集数据，有助于提升算法模型跨硬件平台的泛化能力。

3. 数据集数据来源

ARIO数据来源：真实场景数据采集+仿真模拟生成+开源数据集转换。

• 真实场景数据采集：通过布置真实环境下的场景和任务进行真机数据采集，共采集了2个场景序列、105个任务、3662个轨迹片段（Episodes），在3种方式里面占比最少，大约为0.8%。

• 仿真模拟生成：基于MuJoCo、Habitat、SeaWave 等仿真引擎，设计虚拟场景和3D物体模型，完成任务仿真的采样与保存。采用该方式共生成95个场景序列、1198个任务、703088个轨迹片段，数据量占比为36.8%。

• 开源数据集转换：选择了3个开源的具身数据集，将其转换为符合ARIO 格式标准的数据。通过该方式获取的数据量最多，占比为62.4%，共转换成功有161个场景序列、319761个任务、2326438个轨迹片段。

ARIO三类不同来源数据的收集流程

1）真实场景数据采集

数据采集机器人：Cobot Magic和Cloud Ginger XR-1。

a. Cobot Magic：松灵机器人旗下的一款主从双臂机器人

该平台具备以下核心组件：

• 移动底盘：采用AgileX Tracer AGV自动导航车，最大移动速度1.6 m/s，支持全向运动；

• 机械臂系统：搭载4组轻型6自由度机械臂，单臂末端负载3kg；采用主从控制架构，2组主臂通过重力补偿模式实现操作员直观示教，2组从臂实时复现主臂运动轨迹；

• 末端执行器：每支机械臂末端配置线性电机驱动的定制夹爪，主臂夹爪集成"手柄"物理控制接口，支持操作者连续调节开合状态；

• 视觉感知相机：部署3台奥比中光的Dabai RGB-D相机—— 2台从臂腕部相机+1台支架前向全局观测相机。

松灵机器人主从双臂机器人：Cobot Magic 

任务设计：构建包含60+任务的层级化操作技能库，重点关注家庭场景下的桌面级精细化操作。任务分类及示例如下。

b. Cloud Ginger XR1：达闼科技旗下的一款轮式云端智能人形机器人

该机器人采用轮式全向移动底盘，拥有40余个智能关节，采用无框电机、中空对心设计。同时，装配7自由度灵巧手，与机械臂协同工作时，可实现,5kg负载下的高精度灵巧抓取，支持工具操作及其他精细动作执行。此外，机身拥有9个可扩展接口，可以轻松扩展以配备各种外设工具。

在任务设计上，共设计了拾取、放置和推移三类任务，三类任务分别采集了400条、200条和200条轨迹数据。

达闼科技人形机器人：Cloud Ginger XR1（图片来源：官方网站）

2）仿真模拟生成

ARIO数据集的模拟数据主要来自仿真平台：Habitat、MuJoCo和SeaWave。

a. 基于Habitat的目标导航（HM3D）任务 —— 目标类别：收集了6种目标类别的导航任务，每个任务关联一个目标类别；场景选择：从训练集划分中选取80个场景，并基于对应任务执行轨迹收集数据，目标是找到特定目标实例；路径规划：通过官方Habitat API实例化了一个“最短路径贪心跟随智能体”，该智能体接收指定目标位置后，将沿可行走区域的最短拓扑路径进行导航。

b. 基于MuJoCo物理引擎的机械臂操作任务 —— 设计了三个任务：目标物体抓取、篮筐精准投放以及抽屉开合操作；最终共生成包含21个交互对象的1700条轨迹片段，每条轨迹平均包含150个决策步。任务空间参数设置方面，机械臂末端执行器操作空间限定在1.2m×0.8m×0.6m的矩形工作域内，关节力矩控制频率设为20Hz，并添加了±5%的传感器噪声以提升仿真真实性。

c. 基于SeaWave的机器人操作任务 —— 研究人员将SeaWave原始数据集转换为ARIO格式。该基准测试包含基于UE5构建的仿真平台，旨在评估机器人理解与执行人类自然语言指令的能力。SeaWave任务根据指令语义复杂度与操作需求划分为四个层级：从基于简单指令的基础操作，到需要视觉感知支撑并依据抽象自然语言指令进行决策的复合型场景。

3）开源数据转换

ARIO中的开源数据转换涉及到3个数据集：Open X-Embodiment、RH20T 和 Maniwav Datasets。

a. Open X-Embodiment：该数据集包含74个子数据集，超过240万个场景片段（episodes）。研究人员开发了相应的转换工具，将该数据集中的数据转换为ARIO格式。在转换过程中，遇到了数据缺失和文档描述不清晰的问题。在尽可能保留原始数据的前提下，移除不相关或不可用的部分。通过过滤掉缺乏夹抓（gripper）和关节信息，或文档描述模糊的数据集，最终成功将62个子数据集转换为ARIO格式。

b. RH20T：该数据集记录了全面的运动学数据，包括关节角度、扭矩，以及夹爪的位置、朝向和开合状态。部分机器人夹爪还配备了指尖触觉传感器，增强了接触密集型任务中多模态数据的丰富性。在转换成ARIO格式的过程中，发现部分任务执行片段（episodes）中数据缺失（如摄像头画面或关节数据），且文档描述不够详细的问题。研究人员力求保留原始数据的完整性，仅排除任务描述完全缺失的片段，最终成功转换了12719条任务执行轨迹（episode trajectories）。

c. ManiWav：据介绍，ManiWAV团队是唯一研究声音对机器人任务成功率影响的团队。该数据集包含擦拭白板、翻转百吉饼（Bagel）、掷骰子和用尼龙搭扣胶带绑电线共4项任务，1297 条任务执行轨迹（episode trajectories）。研究人员开发了一个转换脚本，将所有公开的 ManiWAV 数据转换为 ARIO 格式，并为每个任务添加文本描述，以提高清晰度和实用性。

参考网址

• 论文链接：https://arxiv.org/pdf/2408.10899v1

• 项目主页：https://imaei.github.io/project_pages/ario/

• 数据集：https://openi.pcl.ac.cn/ARIO/AR