ReconDreamer

我们提出ReconDreamer方法，通过渐进式融合自动驾驶世界模型的知识来增强驾驶场景重建能力。与[68]直接利用预训练世界模型扩展新轨迹视图不同，ReconDreamer通过训练世界模型来逐步消除复杂机动渲染中的重影伪影。具体而言，我们通过在各个训练阶段对渲染输出进行采样，构建视频修复数据集。基于该数据集我们提出DriveRestorer模块，该模块在世界模型基础上进行微调，通过在线修复机制有效消除重影伪影。训练过程中引入掩码策略，重点修复具有挑战性的区域（如天空和远距离区域）。此外，我们提出渐进式数据更新策略（PDUS），通过逐步修复伪影来确保大型机动场景的高质量渲染。PDUS策略通过渐进式融合世界模型知识，有效降低了视频修复的复杂度，使得ReconDreamer成为首个能够处理渲染过程中大幅视角偏移（如跨越多车道、跨度达6米）的方法。

如图1所示，实验结果表明ReconDreamer在新轨迹渲染过程中显著提升了Street Gaussians[58]的性能，在NTA-IoU、NTL-IoU和FID指标上分别实现24.87%、6.72%和29.97%的相对提升。此外，ReconDreamer在大型机动场景中增强了时空一致性，在用户研究中以96.88%的胜率超越DriveDreamer4D[68]，并在NTA-IoU指标上实现195.87%的相对提升。

本研究的主要贡献包括：
（1）提出ReconDreamer框架，通过渐进式融合世界模型知识增强动态驾驶场景重建能力。据我们所知，这是首个能有效渲染大型机动场景（如跨度达6米）的方法；
（2）设计DriveRestorer模块通过在线修复消除重影伪影，并提出渐进式数据更新策略保持大型机动场景的渲染质量；
（3）通过全面实验验证ReconDreamer在保持时空一致性的同时提升渲染质量...