论文略读： CITYANCHOR: CITY-SCALE 3D VISUAL GROUNDING WITH MULTI-MODALITY LLMS

ICLR 2025 6668

本文提出了一种名为 CityAnchor 的三维视觉指定位方法，用于在城市级点云（city-scale point cloud）中定位城市物体。近年来多视图重建技术的发展使得构建大规模城市点云成为可能，但如何在如此大尺度的点云中进行视觉指定位仍是一个开放问题。

现有的 3D 视觉指定位系统主要集中于图像或小尺度点云中的目标定位，这种方法在精度和效率上都难以扩展至城市级点云的应用场景。

为解决这一挑战，本文提出了一种多模态大语言模型（LLM）驱动的两阶段方法，包括：

1. 粗定位阶段（Coarse Localization）：根据文本描述，在点云投影后的二维地图上定位可能的区域；

2. 细粒度匹配阶段（Fine-Grained Matching）：在这些候选区域中进一步精确匹配出与文本描述最相符的目标对象。

我们在 CityRefer 数据集以及我们新构建并标注的合成数据集上进行了实验，结果表明，CityAnchor 能够在城市级三维点云中实现准确的 3D 视觉指定位，验证了方法的有效性与可扩展性。