当前位置：首页 > news >正文

论文分享 | BARD-GS：基于高斯泼溅的模糊感知动态场景重建

news 2025/11/7 7:41:09

✨ 一句话总结

BARD-GS 是一种能够从模糊图像中高质量重建动态3D场景的新方法，通过显式分离并建模“相机运动模糊”和“物体运动模糊”，在真实模糊场景下显著优于现有方法。

🧩 一、研究背景与问题定义

1.1 动态场景重建的兴起

近年来，随着 NeRF 和 3D Gaussian Splatting 等技术的突破，3D场景重建技术迅速发展，并在三维编辑、SLAM、虚拟现实等领域广泛应用。特别是 3DGS，以其显式表示和实时渲染能力，成为静态场景重建的新标杆。

然而，动态场景的重建 仍然是一个极具挑战性的问题。现实中我们拍摄的视频往往包含：

相机运动：手持拍摄时的抖动或移动；
物体运动：场景中快速移动的物体；
运动模糊：在曝光时间内，相机或物体的运动导致图像模糊。

1.2 现有方法的局限性

目前大多数动态场景重建方法（如 D3DGS、4DGS、DyBluRF 等）都假设输入图像是清晰的，且相机姿态是准确的。然而：

在实际拍摄中，运动模糊极为常见；
模糊图像会导致重建结果出现伪影、细节丢失、动态区域重建失败；
现有的“先去模糊再重建”流程往往破坏3D一致性，效果有限。

1.3 BARD-GS 的提出

BARD-GS 应运而生，其全称为：

Blur-Aware Reconstruction of Dynamic Scenes via Gaussian Splatting

它首次显式地将运动模糊分解为“相机运动模糊”和“物体运动模糊”，并分阶段进行建模与去模糊，从而在模糊输入下也能实现高质量的动态场景重建。

🧠 二、核心思想与方法概述

2.1 模糊来源的分解

BARD-GS 将运动模糊分为两类：

相机运动模糊：由相机在曝光时间内的移动引起；
物体运动模糊：由场景中物体的快速运动引起。

2.2 两阶段去模糊流程

BARD-GS 的流程分为两个阶段：

🔹 Stage 1：相机运动去模糊

对每个输入模糊图像，建模其在曝光时间内的虚拟相机轨迹；
通过渲染多个虚拟视角的图像并融合，模拟模糊过程；
通过比对输入图像中的静态区域，优化相机轨迹与静态高斯模型；
目标：消除相机运动模糊，重建清晰的静态背景。

🔹 Stage 2：物体运动去模糊

使用一个时间条件变形场 来建模动态高斯的运动轨迹；
在曝光时间内采样多个虚拟时间点，渲染物体在不同时刻的状态；
融合这些图像以模拟物体运动模糊；
通过比对整个图像，优化动态高斯模型；
目标：消除物体运动模糊，重建清晰的动态物体。

🛠 三、技术细节详解

3.1 相机轨迹建模

BARD-GS 对每个输入图像的相机姿态进行扩展，生成一组虚拟相机姿态：

起点和终点姿态由可学习的偏移量定义；
中间姿态通过 SO(3) 流形上的线性插值 获得；
使用 PyPose 库实现高效的李群李代数运算。

3.2 动态高斯变形场

使用一个 MLP 作为变形场，输入为高斯的位置编码 + 时间编码，输出为：

位置偏移量（δx）
旋转偏移量（δr）
尺度偏移量（δs）

从而将静态高斯变换为时间相关的动态高斯。

3.3 轨迹约束损失

为避免变形场学习出不合理的运动轨迹，BARD-GS 引入 3D 轨迹损失：

使用 BootsTAPIR 跟踪2D像素轨迹；
使用 DepthAnything 获取深度信息；
将2D轨迹反投影为3D轨迹，作为伪真值约束高斯运动。

3.4 静态区域细化

BARD-GS 还为静态高斯引入一个静态变形场，用于处理：

动态物体带来的阴影、反射等间接效应；
初始高斯缺失导致的边缘伪影。

📊 四、实验与效果验证

4.1 数据集构建

由于缺乏真实世界的动态模糊数据集，作者构建了：

合成模糊数据集：从 HyperNeRF、Dycheck 等数据集中通过帧插值与平均生成；
真实世界模糊数据集：使用两台 GoPro 同步拍摄，一台长曝光（模糊训练），一台短曝光（清晰评估），涵盖12个复杂动态场景。

4.2 对比方法

DyBluRF：基于 NeRF 的动态去模糊方法；
D3DGS / 4DGS：主流动态高斯重建方法；
+ MPRNet：使用预训练去模糊模型预处理图像后再重建。

4.3 评价指标

除了 PSNR、SSIM、LPIPS，还引入：

Laplacian Variance：衡量图像清晰度；
MUSIQ：感知质量评价；
Shift-Invariant Metrics：应对相机姿态不对齐问题。

4.4 实验结果

✅ 去模糊任务（表1）

BARD-GS 在合成数据集上全面优于所有基线方法，尤其在 LPIPS、LV、MUSIQ 上提升显著。

✅ 新视角合成（表2）

在真实模糊数据集上，BARD-GS 在动态区域和静态区域均表现出更清晰的细节和更少的伪影。

✅ 消融实验（表3、4）

移除任一模块（如静态去模糊、轨迹损失）都会导致性能下降；
虚拟视图数量在10左右效果最佳，过多或过少都会降低质量。

🎯 五、亮点总结

亮点	说明
✅ 模糊分解建模	首次显式分离相机与物体运动模糊，分别优化
✅ 两阶段训练	先处理相机模糊，再处理物体模糊，逻辑清晰
✅ 轨迹感知损失	使用2D跟踪+深度反投影约束3D高斯运动
✅ 真实世界数据集	首个真实动态模糊数据集，推动领域发展
✅ 全面评估指标	引入多种感知质量指标，评估更全面

💡 六、适用场景与推荐理由

🎥 适用场景

手持设备拍摄的动态视频重建；
运动模糊严重的监控视频分析；
虚拟现实、增强现实中的动态场景建模；
电影特效中的动态场景重建与去模糊。

👍 推荐理由

读者类型	推荐理由
三维视觉研究者	方法新颖，实验充分，代码与数据集将开源
算法工程师	实用性强，可用于实际模糊视频重建任务
学生与初学者	了解动态重建+去模糊的完整思路与实现细节
技术爱好者	理解如何将物理建模与深度学习结合解决实际问题