当前位置：首页 > news >正文

论文解读：Drivestudio——OmniRe: Omni Urban Scene Reconstruction

news 来源：原创 2025/5/14 6:40:13

基础信息

标题：OmniRe: Omni Urban Scene Reconstruction

链接：https://arxiv.org/abs/2408.16760

代码：https://github.com/ziyc/drivestudio

项目主页：https://ziyc.github.io/omnire/

被引量：16（2023）

论文质量：较高

参考价值：较高

论文内容

介绍了一个名为OmniRe的系统，用于从设备日志中高效创建高保真动态真实世界场景的数字孪生。该系统能够对城市场景中的各种动态物体（包括车辆、行人、骑自行车者等）进行准确的、全长度的重建，并支持模拟（约60hz），包括有人参与的场景，如行人行为模拟和人车交互。OmniRe在Waymo数据集上的广泛评估表明，其在定量和定性方面均大幅优于现有的最先进方法，并且该方法在5个额外的流行驾驶数据集上展示了其在常见城市场景中的泛化能力。

数字孪生尚无业界公认的标准定义，其中一个定义是指在数字世界建立一个与真实世界系统的运行性能完全一致，且可实现实时仿真的仿真模型。

主要贡献

研究问题与价值

研究了如何高效地从设备日志中创建高保真动态真实世界场景的数字孪生，特别是针对城市场景中的多样化动态物体（如车辆、行人、骑自行车者等）。现有方法在处理这些动态物体时存在局限性，尤其是在模拟人类行为和人车交互方面。文章指出，尽管神经辐射场（NeRFs）和高斯泼溅（Gaussian Splatting）等技术在重建3D场景方面取得了进展，但它们主要关注车辆，缺乏对所有动态前景的全面框架，这限制了它们在下游应用（如模拟人类行为）中的使用。

文章提出了一种全面的框架，能够对城市场景中的各种动态物体进行准确的重建，包括车辆、行人和骑自行车者等。这种全面性使得OmniRe能够支持复杂的模拟任务，如行人行为模拟和人车交互，这是现有方法所不具备的。

高保真重建：OmniRe通过构建基于3D高斯绘制的动态神经场景图，实现了对动态场景的高保真重建。这种方法能够处理刚性物体（如车辆），并使用刚体变换表示随时间的运动，而且对于所有的刚体节点，优化他们每一帧的位姿，还能处理非刚性物体（如行人），用SMPL模型来对人体进行重建，通过人体关节和姿态进行建模，并且能够实现关节级控制，这对于模拟人类行为至关重要。

SMPL模型是指一种用于三维人体建模的方法，全称是Skinned Multi-Person Linear Model。它是一种基于顶点偏移的参数化人体模型，能够精确表示自然人体姿势中的各种身体形状和动作。SMPL模型由23个关节点和1个根节点构成，含有6890个顶点和144种面片，能够通过调整形状参数和姿态参数来实现对人体的精确建模。

技术贡献：提出了一种新颖的人体姿态估计流程，专门用于处理多摄像头设置和严重野外遮挡的驾驶日志。这种流程能够准确提取SMPL参数，从而实现对人类运动的精确建模。此外，OmniRe还通过实验验证了其在城市驾驶场景中的泛化能力，并在多个流行驾驶数据集上展示了其有效性。
OmniRe在Waymo数据集上的广泛评估表明，其方法不仅在定量和定性方面优于现有方法，而且在5个额外的流行驾驶数据集上展示了良好的泛化能力。这表明OmniRe能够适应不同的城市场景，具有广泛的应用前景。例如，OmniRe在处理极端动态遮挡、夜间场景和恶劣天气条件下的表现尤为突出，证明了其在各种复杂场景中的鲁棒性。

方法关键

动态场景高斯建图

场景图由以下节点组成：

(1) 表示远离自车的远景天空的SkyNode。使用单独的可优化环境贴图来适应观察方向的天空颜色，将天空图像Csky与由组成的高斯渲染的图像 $C_G$ 合成，我们获得最终渲染为： $C = C_G + (1 - O_G) C_{\text{sky}}$ ,其中 $O_G$ 表示高斯的不透明度掩码。