基于全局拓扑图和双尺度图Transformer的视觉语言导航
前言
本工作的主要贡献有：
（1）实时构建拓扑图，以便在全球行动空间中进行高效探索；
（2）使用图Transformer对拓扑图进行编码，并学习与指令的跨模态关系，以便动作预测可以依赖于远程导航记忆。
一、模型整体框架
1.1 任务描述
在VLN的离散情况下，环境是无向图 ，其中
表示
个可导航节点，
表示连接边。在时间步
：
（1）是具有
个单词的指令嵌入；
（2）代理接收其当前节点 的全景图和位置坐标。其中全景图被分成
个图像
，每个图像由图像特征向量
和唯一方向表示；
（3）为了实现精细的视觉感知，使用带注释的对象边界框或自动对象检测器在全景图中提取 个对象特征
；
（4）此外，代理还感知与其邻近节点集对应的若干可导航视图，以及这些节点的空间坐标，可能的局部动作空间
包含导航到
并在
停止；
（4）在代理决定在某个位置停止后，它需要预测全景中目标对象的位置。
1.2 模型介绍
模型的整体框架如下图所示：
可以看出，主要由以下几部分组成：
（1）视觉编码器：多层Transformer，输入为RGB特征和目标特征，输出为总的视觉特征；
（2）文本编码器：多层Transformer，输出为文本特征；
（3）拓扑图映射模块：动态构建已访问、当前、未访问节点，并输出节点的特征；
（4）细尺度多模态注意力模块 + 局部动作预测模块：整合对齐局部视觉特征和文本特征，并得到局部预测动作；
（5）粗尺度多模态注意力模块 + 全局动作预测模块：整合对齐全局视觉特征和文本特征，并得到全局预测动作；
（6）动态融合模块：融合局部和全局动作预测，得到最终动作预测结果。
二、难点
2.1 图谱图映射
环境图 最初是代理未知的，代理沿路径逐渐构建自己的映射：
（1）总共包含三类节点：（a）访问过的节点；（b）当前节点；（c）可导航的节点：
（2）代理可以访问已访问节点和当前节点的全景视图。可导航节点还未经探索，只能从已访问的位置部分观察到；
（3）当代理到达新的节点后，需当前访问过的节点和可导航节点的视觉表示，如下图所示：
上图表示由节点 到达节点
后，将节点
及其邻近的节点一同添加到当前时刻的环境图
中。
2.1.1 节点的视觉表示
在时间步 ，代理接受节点
的图像特征
和目标特征
：
（1）使用多层Transformer建模图像和目标的空间关系：
为了表示方便，将通过注意力层后的图像和目标特征仍然表示为 和
。
然后，通过 和
的平均池化来更新当前节点的视觉表示。由于代理也在
处部分观察到
：
（1）根据 中相应的视图嵌入来累积这些可导航节点的视觉表示；
（2）如果从多个位置看到了一个可导航节点，将所有部分视图嵌入的平均作为其视觉表示。使用 来表示每个节点
的合并视觉表示。
2.2 粗交叉模态编码器
节点视觉特征 添加位置编码和导航步编码：
（1）位置编码：将节点在地图中的位置嵌入到以自我为中心的视图中，即相对于当前节点的方向和距离；
（2）导航步编码：对于访问过的节点，编码最后一次访问时间步，对于未访问过的节点，编码为0。通过这种方式，访问的节点被编码为不同的导航历史，以提高与指令的一致性。
在图中添加一个“停止”节点 来表示停止动作，并将其与所有其他节点连接。
2.2.1 图感知交叉模态编码器
（1）标准注意力仅考虑节点之间的视觉相似性，因此它可能会忽略比远处节点更相关的附近节点；
（2）为了解决这个问题，我们提出了图感知自注意力（GASA），它进一步考虑了图的结构来计算注意力。公式如下：
其中 是从
得到的成对距离矩阵。
2.3 细交叉模态编码器
在 中添加了两种类型的位置嵌入：
（1）第一种类型是地图中相对于起始节点的当前位置。这种嵌入有助于理解指令中的绝对位置，例如“去一楼的客厅”；
（2）对于，我们添加了第二个位置嵌入，即每个相邻节点与当前节点的相对位置。它有助于编码器实现以自我为中心的方向，如“右转”。
为停止操作添加了一个特殊的“停止”标记 。
2.4 动态融合
动态融合粗尺度和细尺度动作预测，以获得更好的全局动作预测。
（1）由于细尺度编码器预测是在局部空间，与粗尺度编码器的全局空间不匹配，因此，首先将局部动作得分转换为空间动作得分：
（2）计算融合预测的加权标量：
（3）得到最终动作的预测：
三、总结
（1）怎么判断一个模型是连续VLN还是离散VLN？
（2）拓扑图具体怎么实现的？
（2）拓扑图能应用到连续VLN中吗？