【论文阅读】纯视觉语言动作(VLA)模型：全面综述

调查论文《纯视觉语言动作（VLA）模型：综合综述》对新兴的VLA模型领域中三百多项近期研究进行了结构化分类和系统回顾。VLA模型整合了视觉感知、语言理解和机器人控制。该论文整合了基础资源，分析了其在各种机器人实体中的应用，并指出了实现通用机器人技术的关键挑战和未来研究方向。

背景与语境

视觉语言动作（VLA）模型代表了机器人技术的一次重大演进，超越了传统的预编程系统，迈向了更具适应性、更通用的机器人代理。历史上，机器人通过为特定、重复性任务精心设计的控制策略进行操作，通常作为孤立的代理，与人类自然交互或适应动态环境的能力有限。

图1：VLA模型从2022年到2025年的演变，展示了自回归、扩散和强化学习等不同范式的进展。

大型语言模型（LLMs）和视觉语言模型（VLMs）的出现为这一转型提供了基础架构。VLA模型在这些进步的基础上，将视觉感知、语言理解和可执行控制统一在一个框架内，有效地弥合了长期以来困扰机器人研究人员的关键“感知-理解-行动”鸿沟。这种范式转变使机器人能够以更集成、更智能的方式解释自然语言指令、感知复杂环境并执行相应的物理动作。

VLA分类学与方法论框架

本综述建立了一个全面的分类学，根据VLA方法的动作生成策略将其组织成不同的范式。这一分类为快速发展的领域提供了急需的结构，而该领域此前在组织框架上缺乏共识。

图2：VLA综述的总体结构，展示了主要组成部分，包括方法、数据集、模拟器和硬件考量。

该分类法包含四个主要类别，每个类别都具有独特的特征和方法论方法：

自回归模型 将动作序列视为时间依赖过程，使用Transformer架构逐步生成动作。这些模型擅长将多模态感知与序列推理相结合，通过LLM集成实现长周期任务规划和语义理解。其数学基础可以表示为：

$$
P(a_1, a_2, ..., a_T | v, l) = \prod_{t=1}^T P(a_t | a_{<t}, v, l)
$$

其中 $a_t$ 表示时间 $t$ 的动作，$v$ 表示视觉输入，$l$ 表示语言指令。

扩散模型 将机器人控制重新定义为概率生成建模问题，使用条件去噪过程生成平滑、多样化的轨迹。这些方法利用扩散过程：

$$
x_t = \sqrt{\alpha_t} x_0 + \sqrt{1-\alpha_t} \epsilon
$$

其中 $x_t$ 表示时间步 $t$ 的噪声动作，$\alpha_t$ 是噪声调度，$\epsilon$ 是高斯噪声。

强化学习模型 将视觉-语言基础模型与强化学习相结合，通过环境交互优化策略。这些方法利用视觉和语言信号生成密集、可迁移的奖励信号，将离线行为克隆与在线策略优化相结合。

混合与专用方法 结合了多种范式的元素或专注于特定领域的适应，通常解决自动驾驶、人形机器人或人机交互中的特定挑战。

核心架构创新

图3：不同VLA架构的比较，展示了自回归、扩散、强化学习和混合方法。

VLA 模型在建筑创新方面展示了多模态融合和动作生成的显著进步。基于自回归的模型利用 Transformer 架构来处理多模态输入，同时保持时间一致性。这些系统通常采用动作分词策略，将连续控制信号转换为离散标记，使语言模型架构能够处理机器人控制任务。

基于扩散的方法通过迭代细化过程引入概率性动作生成。它们利用扩散模型固有的平滑先验，擅长生成平滑、几何一致的轨迹。这些模型的条件性质允许在去噪过程中有效整合视觉和语言模态。

基于强化学习的方法通过从环境反馈中学习而脱颖而出，利用视觉-语言模型提供丰富的奖励信号和状态表示。这些方法通常将预训练的基础模型与策略优化技术相结合，以在不同任务和环境中实现更好的泛化。

应用与实际部署

VLA 模型已在各种机器人平台和应用领域中展现出多功能性。这项调查研究了从机械臂桌面操作到四足机器人和自动驾驶汽车的复杂导航任务的各种实现。

图 4：VLA 模型在不同平台上的应用示例，包括 Libero（机器人操作）、Bridge（厨房任务）、Aloha（双手操作）、Lerobot Unitree（四足导航）、Carla（自动驾驶）和 NuScenes（真实世界驾驶场景）。

在机器人操作中，VLA 模型在需要精细控制和语义理解的任务中展现出特别的潜力。以 Bridge 等数据集为代表的厨房环境，展示了处理涉及物体识别、空间推理和精确操作的复杂多步骤任务的能力。Aloha 等双手系统则展示了在遵循自然语言指令时多个操纵器之间的协调。

四足机器人应用将 VLA 的能力扩展到移动机器人领域，模型必须将导航规划与环境感知和语言理解相结合。Lerobot Unitree 平台是这种整合的典范，展示了 VLA 模型如何在响应高级指令的同时控制复杂的运动。

自动驾驶可能是最具挑战性的应用领域，需要在安全关键环境中进行实时决策。Carla 等平台提供了开发和测试 VLA 方法的模拟环境，而 NuScenes 等真实世界数据集则可以评估模型在实际驾驶条件下的性能。

基础资源和基础设施

有效 VLA 模型的发展严重依赖高质量数据集和强大的仿真平台。该调查确定了真实世界和模拟环境中的关键资源，每个资源在模型开发和评估中都扮演着不同的角色。

真实世界数据集，例如 Open X-Embodiment 集合和 RT-1 数据集，提供了多样化、复杂的场景，捕捉了真实世界交互的细微差别。然而，这些数据集收集成本高昂，并且范围通常有限，特别是对于桌面操作任务。挑战在于在保持质量和多样性的同时扩展数据收集。

模拟数据集提供了互补的优势，为训练和初步评估提供了可扩展、安全的环境。VIMA和CALVIN等平台使研究人员能够生成大规模训练数据，同时控制环境变量。然而，持续存在的模拟-现实鸿沟仍然是一个重大挑战，需要仔细考虑领域适应策略。

评估指标是另一个关键的基础设施组成部分。成功率、语言遵循率以及对未知环境的可迁移性是主要的评估标准，尽管该领域仍在开发更全面的基准测试方法，以捕捉视觉-语言-动作（VLA）能力的全部范围。

主要挑战与局限

尽管取得了显著进展，VLA模型仍面临几个基本挑战，这些挑战限制了其当前能力和实际部署。数据稀缺是主要瓶颈，因为收集多样化、高质量的机器人演示数据仍然昂贵且耗时。这一限制尤其影响了能够处理真实世界所有场景的真正通用模型的开发。

架构异构性是另一个重大挑战。机器人平台、传感器配置和任务需求的多样性使得开发能够无缝迁移到不同实体上的统一VLA架构变得困难。这种异构性通常需要特定于平台的适应，从而限制了学习行为的通用性。

实时推理要求对许多VLA方法提出了计算挑战。虽然自回归模型存在顺序解码延迟问题，但基于扩散的方法需要多个去噪步骤，这可能计算成本很高。在保持模型性能的同时实现动态机器人应用所需的低延迟响应仍然是一个持续的研究挑战。

在现实世界环境中部署VLA模型时，安全性和可靠性问题变得至关重要，特别是对于涉及人机交互或安全关键操作的应用。当前模型在训练数据中未充分体现的极端情况或新颖场景下可能会表现出不可预测的行为。

未来方向与研究机遇

本调查确定了几个有前景的研究方向，这些方向可以解决当前的局限性，并推动该领域向更强大、更可靠的VLA系统发展。世界建模代表了一个特别重要的机遇，它使模型能够对其环境中的物理动力学和因果关系形成更复杂的理解。

因果推理能力的整合可以显著增强VLA模型的性能，通过实现对行动后果和环境交互更鲁棒的理解。这一进步将支持更好的长期规划以及在复杂动态环境中更可靠的行为。

虚实整合策略通过改进领域适应技术、迁移学习方法以及更有效地利用模拟和真实世界数据的混合训练方法，为弥合持续存在的模拟-现实鸿沟提供了途径。

社会嵌入考量涵盖了在人类环境中部署智能机器人系统的更广泛影响，包括伦理考量、人机交互设计以及开发能够在社会中安全有益地运行的可信人工智能系统。

结论与影响

这项全面的调查首次系统地组织了快速演变的VLA（视觉语言动作）领域，为该领域的研究人员和从业者建立了基础参考。通过综合三百多项最新研究的见解并提供清晰的分类框架，这项工作弥补了文献中的关键空白，并提供了一种结构化的方法来理解这一新兴范式。

VLA模型的意义超越了技术成就，它代表着向更通用、适应性更强的机器人系统迈进的根本性转变，这些系统能够与人类和动态环境进行自然交互。随着这些技术的不断成熟，它们有望催生新一代机器人应用，真正融入人类社会，从孤立的、特定任务的自动化迈向智能的、协作的智能体。

该调查识别的关键挑战和未来研究方向为该领域的持续进步提供了路线图，强调了解决根本性局限性的重要性，同时探索推进具身人工智能的新机遇。这项工作可能将成为致力于开发下一代智能机器人系统的研究人员的基础资源。