Closed-Loop Evaluation in Robotics: A Practical Template (for openvla + LIBERO)

在机器人学习，特别是视觉-语言-动作（VLA）模型的开发中，closed-loop evaluation（闭环评估）是验证策略在动态环境中实际能力的关键环节。与训练阶段使用的open-loop（开环）不同，闭环评估要求策略与环境实时交互，形成“感知—决策—执行—反馈”的持续循环。以下是对通用闭环评估标准模板的综合说明，适用于如 openvla + LIBERO 这类典型架构。

闭环评估的核心目标是测试策略在未见过的动态状态下是否仍能完成任务，而非仅复现训练数据中的动作。因此，它必须运行在一个交互式仿真器（如 LIBERO）或真实机器人平台上，并通过多次 episode（任务尝试）统计成功率。

标准闭环评估系统通常采用双环境解耦设计：一个环境运行策略模型（通常依赖 PyTorch、CUDA 等深度学习库），另一个环境运行仿真器（依赖 robosuite、MuJoCo 等物理引擎）。为避免依赖冲突，两者通过网络通信（如 WebSocket）连接。策略端作为服务端（Policy Server）监听指定端口，评估端作为客户端（如 M1Inference）发送观测并接收动作。

典型评估流程分为两个步骤：首先在终端 A 启动 Policy Server，加载预训练模型并绑定 IP 与端口（如 localhost:10091）；然后在终端 B 启动评估脚本，初始化仿真环境（如 OffScreenRenderEnv），并创建远程策略客户端连接该端口。

评估主逻辑采用两层循环结构：外层遍历任务和 episode，内层执行 step-by-step 控制。每个 episode 开始于环境重置和初始状态设定；随后进入 step 循环，在每一步中：1）从仿真器获取当前观测（包括多视角图像、机器人状态、任务语言描述）；2）将观测传入策略客户端（如 model.step(obs)）；3）策略服务端执行模型前向推理，返回动作；4）将动作送回仿真器执行；5）检查任务是否成功（done）或超时，决定是否终止当前 episode。

关键组件包括：

• 仿真环境（如 OffScreenRenderEnv）：无头渲染，不依赖图形界面，适合批量评估；输出为结构化观测字典。
• 策略客户端（如 M1Inference）：伪装成本地模型，实为 WebSocket 客户端；通常仅加载动作反归一化统计量，不加载模型权重。
• 策略服务端（如 WebsocketPolicyServer）：加载完整模型，处理推理请求，返回原始或后处理动作。
• 通信机制：基于 IP + 端口建立长连接，支持跨机器部署（如模型在 GPU 服务器，仿真在本地）。

该架构具备良好扩展性：更换模型只需修改服务端加载逻辑；更换环境（如切换到真实机器人或另一仿真器）只需调整评估脚本的 env 初始化部分。

然而，闭环评估暴露了模仿学习的根本挑战：训练-测试分布偏移（covariate shift）。即使模型在开环中完美拟合专家动作，闭环中微小的执行误差或感知差异也可能导致状态漂移，进入训练未覆盖区域，最终失败。此外，仿真与现实的物理差异（reality gap）、环境多样性（光照、遮挡、物体材质）等也会显著影响性能。

综上，一个健壮的闭环评估不仅验证模型能力，也揭示数据、模型、仿真三者之间的鸿沟，是推动策略从“模仿”走向“鲁棒控制”的必要环节。