当前位置：首页 > news >正文

每日一篇-【ICRA2025】--＞任务感知语义地图：超越指令的自主机器人任务分配

news 2025/11/4 11:01:22

写在之前：{

唯心主义或建构主义： 认为我们所理解的世界是被语言所塑造或“建构”的。

这并不是说“桌子是语言构成的”，而是说：我们对“桌子”的全部理解、概念和它在我们世界中的“意义”，是完全由语言构建的。

具身智能的“智能”其实往往依赖于“语言”进行与世界的交互。

}

作者认为：基于详细具体指令（例如“去厨房拿个苹果”）的规划已开展了大量研究，然而，随着家用机器人的日益普及，未来要指定每天需要完成的每一项任务可能会非常繁琐。例如，当房屋凌乱时，机器人应该能够自主检测到并进行清理；它还应该在晚餐时间摆放餐具，并在灰尘较多时进行吸尘，从而根据需要智能地处理各项任务。

本文：机器人能够通过理解环境来自主识别并提出任务：任务感知语义地图（TASMap）

“目前，大多数帮助机器人理解环境的语义地图，其功能还比较初级。它们就像是给环境贴上了‘被动’的标签，比如告诉机器人‘这是一张桌子’或‘这是厨房’。

以往的研究主要集中在如何让这些标签（比如物体名称）变得更准确，或者增加一些空间关系。但这种做法忽视了一个根本问题：对于一个需要自主决策的机器人来说，仅仅知道一个物体的名字，并不能帮它决定该做什么。

为了解决这个“从感知到决策”的鸿沟，我们提出了一种全新的‘任务感知语义地图’（TASMap）。它不再局限于‘这是什么’，而是能主动回答‘能做什么’。

具体来说，TASMap能够智能地分析环境中的物体、状态和它们之间的组合，从而主动识别出当前环境中潜在的任务机会（例如，它看到脏桌子和旁边的抹布，就能推断出‘擦桌子’这个任务是可执行的）。更进一步，它还能根据具体情况，向机器人推荐当下最合适的任务。

图1.TASMap会根据物体的状态分配相应的任务（上图）。左下方根据空间信息标出了机器人应优先关注的区域。右侧红色阴影部分代表与特定情境相关的物体。

TASMap 是一种新型语义地图，能够表示家庭服务机器人所需的任务。该方法使机器人无需人类明确指令即可自主执行任务。如图1上图所示，TASMap 可以识别诸如在厨房洗碗、扶正倒下的植物以及关闭打开的橱柜等任务。检测到任务后，机器人会自动开始清洁房屋，从最脏的区域开始，例如图1左下角所示的炉灶附近。如果房屋有异味，任务优先级会相应调整。考虑到具体情况，机器人会首先执行与异味相关的任务，例如洗碗和移动脏锅，如图1右下角所示。

表1任务集中任务名称和建立任务感知语义图真实值的标准

为了实现这一功能，机器人首先拍摄环境图像，识别每个场景中的物体及其相关任务，整合来自不同视角的信息，然后构建TASMap。作者提出了两种任务优先级排序方法：上下文任务建议和空间任务建议，它们基于TASMap确定任务的执行顺序。

这是这篇文章的创新点：

我们提出了一种新的语义地图，用于表示环境中的适当机器人任务。
我们的方法在地图绘制和任务规划之间架起了一座创新的桥梁，无需人类语言指令即可自主生成任务目标。
我们推出了第一个代表杂乱家庭环境的数据集，其中包含各种场景和概念。
通过仿真和实际实验验证了所提出方法的有效性。

TASMap的任务构建过程，如图2所示：

图2所提出的框架概述。在任务生成模块中，以自我为中心的RGB图像作为输入，将任务与图像中的每个对象关联起来。深度和相机姿态等输入用于语义融合模块，该模块将任务生成的结果与对象实体相结合，生成TASMap。右侧，对象实体以蓝色球体表示，条形图指示任务相关向量。

A. 任务生成

任务生成模块以RGB图像为输入，生成已识别的对象及其对应的任务。该模块由三个子模块组成：实例分割模块、感兴趣区域（ROI）选择模块和任务分配模块。实例分割模块检测并标记图像中的所有对象，识别其对应的像素。ROI选择模块识别ROI，重点关注对任务分配至关重要的对象。任务分配模块则将特定任务分配给这些选定ROI内的对象。

B. 语义融合

语义融合对于在地图上表示任务实体是必要的。考虑到物理信息，单个物体从不同视角观察时可以生成多个分割实体和任务实体。初始阶段，实例分割融合模块识别同一物体生成的分割实体，融合这些实体，并生成物体实体。

并且作者还意识到了，不同空间视角下可能会产生不同的任务。因此提出了一种任务融合机制。

任务融合

从不同角度拍摄的物体图像包含多种任务相关背景，这给为每个物体分配任务带来了巨大挑战。例如，一张地板上沾有污渍的盘子的特写图像突出了污渍的特征，因此更有可能将其分配为“清洗”任务。相比之下，从远处拍摄的图像通常会强调物体在环境中的空间关系，因此更容易将其分配为“清洗”任务。搬迁为了汇总分配的各种任务，我们首先收集分配给对象实体的任务。