3D视觉与空间智能

人工智能已经成为抽象领域的大师。大型语言模型（LLM）可以写诗和编程，而其他模型可以根据简单的文本提示生成令人惊叹的图像。它们在处理和生成符号信息方面展示了巨大的力量。然而，尽管它们技艺高超，一个根本性的局限依然存在：这些AI并不真正理解我们所处的物理世界——一个由三维空间、演变的时间和不变的物理定律构成的世界。

这正是AI下一个前沿领域——空间智能——的用武之地。它从一个心理学概念演变而来，如今已成为人工智能领域的核心追求，定义了系统在物理空间中感知、推理并最终行动的能力。它是不可或缺的桥梁，将使AI从数据的虚拟领域走出来，成为现实世界中真正的“具身智能体”。

本文基于为2025年中国图象图形学学会空间智能大会准备的一份全面分析，将探讨构成该领域战略地图的十个基础性问题。我们的旅程将从理论基础开始，到数据和表征的核心挑战，最终触及具身行动和大规模部署的复杂前沿。

基础支柱

在AI能够导航房间或预测移动汽车的轨迹之前，它需要一个坚实的基础。这包括定义什么是空间智能，获取正确类型的数据，以及找到一种有效的方式来在内部表征物理世界。

1. 什么是空间智能？—— 理论框架

任何成熟的科学领域都需要一个清晰的理论框架，对于空间智能而言，这就是基石。

空间智能可以被定义为一种计算能力，它使系统能够建模、理解、推理并预测时空关系、动态过程和物理属性，从而为决策和行动提供信息。这种能力建立在三个相互关联的支柱之上 ：

• 感知（Perception）：将来自摄像头、激光雷达等传感器的原始数据，转化为对环境几何、物体和事件的结构化理解。
• 推理（Reasoning）：基于感知，对空间关系（如拓扑、距离）、物理动态（如因果关系）和任务目标进行逻辑推断。
• 执行（Execution）：将推理结论转化为物理行动，例如为机器人规划导航路径或为机械臂规划操纵轨迹。

该框架的最终考验是其增强通用人工智能（AGI）的能力，特别是解决“符号接地问题”。一个LLM知道“引力”这个词与“下落”相关，这是基于文本中的统计规律，但它并不理解引力定律本身。而一个具备空间智能的系统，其内部拥有关于体积、刚性等物理约束的模型。当LLM提出一个物理上不可能的计划，如“把大象放进冰箱”，空间智能模块可以立即识别出这违反了基本的物理原理并将其标记出来。

2. 引擎的燃料：获取和扩展高质量空间数据

虽然互联网上充斥着文本和2D图像，但高质量的3D和4D（3D+时间）数据是当前的一大瓶颈。数据收集成本高昂，标注过程耗费人力。尽管像用于自动驾驶的nuScenes和用于室内场景的ScanNet++这样的数据集非常宝贵，但研究人员正越来越多地转向数据增强来克服数据稀缺的问题。

这已超越了简单的几何变换，如旋转或缩放点云。先进技术如今已成为构建稳健模型的核心 ：

• 实例级增强：从一个3D场景中“复制”一个已标注的物体（如沙发），然后“粘贴”到另一个场景中，以训练模型在不同背景下识别物体。
• 生成式合成：利用生成模型根据文本描述创建全新的3D物体和场景，极大地扩展了数据的多样性。
• 上下文混合（Mix3D）：这是一种范式转变的技术，它将两个完全不同的3D场景（例如，一个厨房和一个办公室）混合在一起。这迫使模型从物体的局部几何特征中学习，而不仅仅是依赖其通常所处的环境（例如，椅子不仅仅是“桌子旁边的东西”）。这种强大的策略打破了模型对上下文捷径的依赖，显著提高了其对新奇和异常情况的泛化能力。

3. 如何“看见”世界：探寻统一的表征

AI应该如何在它的“心智”中表征3D世界？这一直是一个核心争论。多年来，**神经辐射场（NeRF）**作为一种隐式表征，通过一个小型神经网络生成场景的照片级真实感视图，彻底改变了该领域。然而，尽管NeRF在视觉上令人惊叹，它却像一个黑匣子；场景的几何信息纠缠在网络权重中，导致渲染速度慢，并且几乎无法进行编辑或交互。

这导致了一次重大的范式转变，随着 3D高斯溅射（3DGS） 的迅速崛起，领域开始回归到显式表征。3DGS将场景表示为数百万个微小的、显式的几何基元（高斯椭球）。这种方法集两家之长 ：

属性	神经辐射场 (NeRF)	3D高斯溅射 (3DGS)
原理	隐式函数（MLP）将坐标映射到颜色和密度。	使用数百万个3D高斯基元进行显式场景表征。
渲染速度	慢（约0.1 FPS），因计算量大。	实时（>100 FPS），利用GPU光栅化管线。
可编辑性	差，因几何信息纠缠在网络权重中。	好，因场景由离散、可编辑的元素构成。
适用性	对于机器人等实时应用较低。	高，是机器人、AR/VR和模拟的理想选择。

3DGS的成功在于它重新引入了显式几何的优势，这对于构建可交互的世界模型至关重要。最终目标是超越单一场景模型，构建一个在海量、多样化的3D/4D数据上训练的空间基础模型，以学习我们物理世界的通用先验知识。

核心能力与推理机制

基础奠定之后，下一个挑战是构建更高层次的认知功能：理解动态、形成记忆和进行因果推理。

4. 超越快照：构建4D世界模型

世界不是一张静态的3D照片；它是一个4D时空连续体。真正的空间智能必须构建一个4D世界模型，不仅能表征世界的状态，还能理解其动态并预测其未来。这需要融合来自多个传感器（视觉、激光雷达等）的信息，并对事物随时间的变化进行建模。

这一挑战正从两个主要角度被攻克：

1. 从图形学/视觉角度：重点是高保真重建。像 4D高斯溅射（4D-GS） 这样的技术正在将3DGS扩展到对运动和变形进行建模，从而实现动态场景的实时渲染。
2. 从机器人学/强化学习角度：目标是为决策构建一个预测模型。强化学习中的“世界模型”是学习到的环境模拟器，它允许智能体“想象”其行动的后果，从而大幅提高学习效率。

前沿方向是整合这些方法，甚至融入温度或电磁场等不可见信息，最终创建一个统一的、多模态、多物理场的现实模拟器。

5. 创建“记忆宫殿”：为智能体建模空间记忆

为了执行复杂的长期任务，智能体不能仅依赖其即时感知。它需要记忆。受认知科学的启发，AI记忆系统正被设计为多层次结构 ：

• 短期记忆：一个用于处理即时传感器数据的缓冲区，以应对避障等反应性任务。
• 长期记忆：一个持久的、关于世界的全局模型，随时间累积而成。其基础是同步定位与建图（SLAM）技术，它回答了“我在哪里？”和“这里是什么样子？”这两个问题。现代的语义SLAM通过为地图添加物体标签（如“椅子”、“门”），将纯粹的几何地图转化为一个可查询的知识库。

对于真正的长时程记忆，检索增强架构提供了一个可扩展的解决方案。像ReMEmbR这样的系统，其工作方式类似于一个外部数据库。智能体将经验记录为与时间和地点相关联的文本描述（例如，“在客厅的咖啡桌上看到了一个红色的杯子”）。当被问及一个问题（“我最后在哪里看到我的钥匙？”）时，一个LLM会查询这个数据库，以检索相关记忆并形成答案。

6. 从相关到因果：基于物理一致性的推理

现代深度学习模型是寻找相关性的高手，但缺乏对因果关系的真正理解。它们知道闪电和雷声相关，但不知道前者导致了后者。这使得它们很脆弱，无法对干预（“如果我这样做会怎样？”）或反事实（“如果我当初没有那样做会怎样？”）进行推理。

解决方案是将AI的推理植根于物理定律。**物理信息机器学习（PIML）是一个强大的范式，它将物理定律直接嵌入到学习过程中。例如，一个物理信息神经网络（PINN）**的损失函数不仅会惩罚模型与数据的拟合误差，还会惩罚它违反已知物理方程（如流体动力学定律）的程度。这迫使模型学习到物理上合理的解。

最稳健的框架将这种基于物理的先验知识与数据驱动的因果发现相结合。模型将从对重力和力学的基本理解开始，然后通过交互学习一个新环境的特定“游戏规则”，例如发现“按下红色按钮会导致传送带启动”。

具身化、规模化应用与部署

最后一组挑战涉及将空间智能从理论领域带入现实世界，通过物理实体、多智能体团队，以及从行星尺度的数字孪生到微型边缘设备的大规模部署。

7. 赋予AI身体：与具身智能的深度融合

空间智能的最终价值在于通过物理实体与世界互动——这就是具身智能的核心思想。这种整合的前沿是视觉-语言-行动（VLA）模型，它代表了从对机器人进行编程到对其进行提示的根本性转变。

像谷歌DeepMind的RT-2这样的模型的突破性创新在于，将机器人的行动视为一种可被预测的语言。一个物理动作，比如将机械臂移动到特定坐标，被标记化为一系列“动作词元”。然后，模型学习根据输入的图像和自然语言指令（例如，“捡起那个苹果”）来预测正确的动作词元序列。这使得模型能够将从互联网上学到的海量知识迁移到机器人控制中，使其能够零样本泛化到新的物体和指令。

一个主要障碍是**“模拟-现实鸿沟”——即模型训练所处的模拟世界与混乱的现实世界之间的差异。这通过域随机化**等技术来弥合，即在模拟过程中不断随机改变参数（如光照、纹理、摩擦力），迫使模型学习到不依赖于完美虚拟世界的、更稳健的策略。

8. 众人拾柴火焰高：协同多智能体智能

许多复杂任务需要一个团队的智能体来完成。挑战在于，拥有多个智能体会使复杂性呈指数级增长，尤其是在通信和协调方面。在智能体之间发送原始传感器数据因通信带宽限制而无法扩展。

关键是让智能体在更高、更抽象的语义层面进行交流。一个机器人不必向另一个机器人发送数百万个激光雷达点，而是可以提炼这些信息并发送一条消息，如“我发现了一个由这四个平面为界的新房间”。这种“地图蒸馏”为协作创造了一种简洁高效的“空间语言”，为去中心化和可扩展的团队合作奠定了基础。

9. 从实验室到地球：大规模空间引擎

将空间智能扩展到城市甚至全球的尺度，需要巨大的工程和算法创新。

• 城市尺度：数字孪生：一个城市的数字孪生是与其物理实体实时同步的高保真动态虚拟副本。通过融合卫星影像、航空摄影和实时物联网传感器的数据构建，这些模型在像NVIDIA Omniverse这样的平台上运行。它们允许城市规划者和应急服务部门运行大规模模拟，以测试新基础设施的影响、优化交通流量或规划灾难响应路线。
• 极端环境（深空、深海、深地）：与城市中的“大数据”问题相反，像火星或深海这样的环境提出了一个“稀疏数据”和“极端不确定性”的挑战。由于巨大的通信延迟，火星车必须自主导航，完全依赖于机载SLAM。水下航行器必须在没有GPS的情况下运行，依靠声纳和其他声学传感器在浑浊的水下导航。这些应用的智能引擎必须高度稳健，并能用有限和不确定的信息做出关键决策。

10. 小而强大：边缘的轻量化计算

空间智能的许多应用必须在资源受限的边缘设备上运行，如无人机、机器人或AR眼镜。在这些设备上运行庞大的云端模型是不可能的。解决方案包括一套优化技术 ：

• 高效架构：从一开始就使用轻量级模型设计，并选择像3DGS这样对移动GPU硬件天然更友好的表征。
• 模型压缩：
  • 剪枝（Pruning）：移除模型的冗余部分，例如3DGS场景中不重要的或贡献小的高斯基元。
  • 量化（Quantization）：降低模型参数的数值精度（例如，从32位浮点数降至8位整数），以减小模型大小并加速计算。

此外，边缘计算通过在设备本地处理数据，提供了固有的隐私保护。这些边缘智能体还必须具备持续学习的能力，以适应其不断变化的环境，而不会发生灾难性遗忘。

前方之路：与物理世界的新伙伴关系

穿越这十个基础性问题的旅程揭示了一个正在经历深刻变革的领域。我们看到了清晰、贯穿始终的主题：向显式、可编辑表征的转变 ；将海量互联网知识迁移到物理任务中的基础模型的兴起 ；以及对植根于因果关系和物理定律的模型的迫切需求。

前方的道路充满挑战，但方向明确。它要求我们融合计算机图形学和强化学习，以创建统一的世界模拟器 ；自动化数据生成流水线，以克服数据瓶颈 ；并将因果和物理推理注入我们具身智能体的核心。

对空间智能的追求不仅仅是一项学术活动；它关乎从根本上改变AI与我们世界的关系。我们正迈向一个未来：真正自主的机器人在我们的家庭中无缝协作，动态的城市数字孪生管理着我们的城市，而AI系统将不再仅仅是信息处理器，而是理解和塑造我们物理现实的智能伙伴。

参考链接

• 空间智能概览与调查
  • A Survey of Large Language Model-Powered Spatial Intelligence Across Scales: https://arxiv.org/html/2504.09848v1
  • Demystifying Spatial AI: A Market Map: https://juhiparekh.com/all-posts/f/demystifying-spatial-ai
• 核心技术与模型
  • A Survey on 3D Gaussian Splatting: https://arxiv.org/abs/2401.03890
  • World Models Project: https://worldmodels.github.io/
  • OpenAI - Video generation models as world simulators: https://openai.com/index/video-generation-models-as-world-simulators/
  • Google DeepMind - RT-2: Vision-Language-Action Models: https://robotics-transformer2.github.io/
  • ReMEmbR: Building and Reasoning Over Long-Horizon Spatio-Temporal Memory: https://nvidia-ai-iot.github.io/remembr/
• 大规模应用与平台
  • Niantic Labs - Building a Large Geospatial Model to Achieve Spatial Intelligence: https://nianticlabs.com/news/largegeospatialmodel
  • Google Research - Geospatial Reasoning: https://research.google/blog/geospatial-reasoning-unlocking-insights-with-generative-ai-and-multiple-foundation-models/