当前位置：首页 > news >正文

【论文阅读】GR-1：释放大规模视频生成式预训练用于视觉机器人操控

news 2025/9/23 7:24:09

ByteDance研究院推出了GR-1，一个GPT风格的Transformer，它利用大规模以自我为中心的视频生成预训练，在多任务视觉机器人操纵中实现了增强的泛化能力和数据效率。该模型在基准测试和真实世界任务中均优于现有基线，在未见场景和语言泛化以及有限机器人数据方面表现出鲁棒性能。

引言

机器人学习领域长期以来一直受制于数据稀缺的挑战——收集多样化、高质量的机器人演示既昂贵又耗时。本文介绍了 GR-1 模型，该模型通过将自然语言处理和计算机视觉领域非常成功的生成式预训练范式应用于视觉机器人操作，从而解决了这一根本性瓶颈。其关键洞察在于，机器人轨迹本质上是视频序列，而根据过去的观测和语言指令预测未来视觉状态的能力可以作为学习机器人策略的强大基础。

图1：GR-1 两阶段训练方法的概述

字节跳动研究院的作者们证明，通过在大型第一视角视频数据（来自 Ego4D 数据集的 800,000 个片段）上预训练一个 GPT 风格的 Transformer，可以显著提高下游机器人操作任务的性能。这种方法代表了与传统主要依赖于特定机器人演示数据的机器人学习方法的一次范式转变。

架构与方法

GR-1 采用统一的 GPT 风格 Transformer 架构，通过专用编码器和可学习的 token 处理多种输入模态。该模型通过冻结的 CLIP 文本编码器处理语言指令，通过使用掩码自编码器预训练的冻结 Vision Transformer (ViT) 处理视觉观测，并通过线性层处理机器人状态。

该架构引入了两个关键的可学习 token：用于动作预测的 [ACT] token 和用于未来图像预测的 [OBS] token。这些 token 在训练期间被策略性地掩码，以保持自回归特性并防止信息泄露。模型的序列处理包括时间嵌入和每个时间步重复的语言 token，以确保一致的指令条件作用。

训练遵循两阶段方法：

阶段1 - 视频生成预训练：模型学习在给定语言描述和过去观测的情况下预测未来的视频帧。此阶段使用以下公式：

$$
\pi(l, o_{t-h:t}) \rightarrow o_{t+\Delta t}
$$

其中 $l$ 表示语言指令，$o_{t-h:t}$ 是过去的观测，而 $o_{t+\Delta t}$ 是未来帧（其中 $\Delta t = 1/3$ 秒）。

阶段2 - 机器人微调：模型通过联合预测动作和未来图像来适应机器人控制：

$$
\pi(l, o_{t-h:t}, s_{t-h:t}) \rightarrow o_{t+\Delta t}, a_t
$$

其中 $s_{t-h:t}$ 表示机器人状态，$a_t$ 是预测的动作。

损失函数结合了多个目标：

$$
L_{finetune} = L_{arm} + L_{gripper} + L_{video}
$$

其中 $L_{arm}$ 对连续机械臂动作使用 Smooth-L1 损失，$L_{gripper}$ 对夹持器控制使用二元交叉熵，$L_{video}$ 对图像重建使用均方误差。