利用动态数字孪生：Franka Research 3 机械臂在机器人策略评估中的创新实践——基于Real-is-Sim框架的仿真与现实闭环验证

一、前言：

在机器人技术飞速发展的今天，如何高效、准确地评估机器人在现实世界中的操作策略，成为制约机器人技术进一步突破的关键瓶颈。传统方法往往依赖于耗时且成本高昂的真实世界测试，而模拟环境虽能提供便利，却因模拟与现实之间的差距而难以直接应用于实际部署。

本文以Franka Research 3机械臂为载体，通过Real-is-Sim框架，利用动态数字孪生技术，解决这一难题。

Franka机器人赋能物理仿真：数据采集与环境构建的一体化解决方案

二、技术框架与核心参数

Franka Research 3机械臂：

7自由度设计

3×Intel RealSense D455相机

仿真器关节位置跟踪

Real-is-Sim框架：

动态数字孪生：基于Embodied Gaussians

物理建模：刚性体粒子系统

视觉建模：3D高斯泼溅

Real-is-Sim框架信息流示意图

在可校正的物理模拟器（基于Embodied Gaussians技术）中训练的策略控制模拟机器人。真实世界的观测数据持续更新模拟器状态，使其与真实环境高度一致。真实机器人通过镜像模拟机器人的关节位置实现同步。该方法将仿真与现实差距的挑战从策略层转移到可动态调整的物理模拟器上。

三、策略开发全流程

数据收集：

策略训练：

输入表征：

状态策略：

视觉策略：虚拟摄像头渲染 → ResNet-18编码

输出动作：

32步关节指令序列（30Hz执行，V.D）

进度预测

四、实验验证：PushT任务

PushT任务验证

在PushT操作任务中，Franka Research 3机械臂结合Real-is-Sim框架展现了其强大的策略评估能力。通过收集真实世界交互过程中的同步模拟状态作为演示轨迹，策略基于这些模拟状态进行训练，并在模拟器中进行离线评估。

不同从真实到模拟框架中提取的表示形式的比较，并与真实图像基线进行对比。(a) 一种纯粹基于状态的表示形式，利用物体的位置和方向（四元数形式）。(b) 一个虚拟移动相机，位于机器人的末端执行器上。(c) 一个虚拟相机，放置在观察场景的原始相机相同位置。(d) 真实相机图像之一。所有表示形式都用机器人的状态进行了增强。在真实到模拟框架中，关节状态对应于模拟机器人的关节状态，而在真实图像表示中，关节状态反映的是真实机器人的关节状态。

实验结果表明，模拟器中的成功率与真实世界评估之间存在很强的相关性，证明了Real-is-Sim框架的有效性。

在PushT操作任务中，Real-is-Sim框架展现了其有效性：

• 离线评估与真实性能高度一致：通过快速离线评估，有效预测真实世界的策略性能，成功率与真实世界评估高度相关。
• 数据增强提升性能：利用模拟器生成额外演示数据，结合真实世界演示，策略成功率显著提升。
• 表征灵活性：支持从任意视角渲染图像或提取低级状态信息，策略学习到更鲁棒的特征表示，提高任务完成能力。

模仿学习策略的成功率与训练步数的关系。该图比较了 “真实即模拟” 离线模式与 “真实即模拟” 在线模式下的策略评估。两条曲线之间的高度相关性表明，（速度明显更快的）离线评估模式是真实世界测试的可靠替代方案，为策略评估提供了一种实用的选择。误差线为95% 置信区间。

不同演示收集策略的成功率。

一个由30个真实演示组成的数据集实现了约58%的成功率。由于 “从真实到模拟” 也可以离线运行，因此可以使用额外的模拟数据来扩充演示数据。一个由60个演示（30个真实的和30个模拟的）组成的组合数据集实现了80% 的成功率。相比之下，仅由60个真实演示组成的数据集实现的成功率略低，为72%。误差线为95% 的置信区间。

关键发现：

表征性能排序：

末端摄像头（82%） > 物体位姿（76%） > 真实图像（63%）

失败模式分析：

进度突变（Δp>0.2/秒）触发场景重建

刚体假设导致柔性物体操作受限

结论

本文提出的Real-is-Sim框架，结合Franka Research 3机械臂，通过动态数字孪生技术，有效弥合了模拟与现实之间的差距，为机器人策略评估提供了一种高效、可扩展的解决方案。该框架不仅加速了机器人策略的开发与验证过程，更为机器人技术在工业、医疗、服务等多个领域的广泛应用奠定了坚实基础。