【SLAM论文笔记】SplaTAM论文小结
SplaTAM是第一个用3D高斯模型建模地图的SLAM方法
背景技术
- 稠密SLAM: Real-time 3d reconstruction in dynamic scenes using point-based fusion.。
- 预训练神经网络:直接融合基于网络输出的图像深度,变分自编码器解码出的深度图可优化隐式特征。
- 隐式场景表达:iMAP、NICE-SLAM、Point-SLAM。
主要贡献
- 第一个用3D高斯模型的稠密SLAM
- 不需相机位姿而实现3D高斯重建
核心方法
地图建模
- 简化3D高斯模型(下简称模型)参数,颜色生成不随视角变化、高斯模型各向同性,即模型只有8个变量,RGB(3个)+ μ\muμ位置(3个)+ rrr半径(1个)+ ooo透明度(1个)f(x)=oexp(−∣∣x−μ∣∣22r2)f(x) = o exp( \frac{-||x-\mu||^2}{2r^2})f(x)=oexp(2r2−∣∣x−μ∣∣2)
- 利用模型实现可微分的渲染,渲染图像与输入图像的差优化相机位姿、高斯模型。渲染得到像素p,先根据相机位姿,按从前到后将3D高斯模型排序获得含n个高斯模型的序列,确定颜色C(p)=∑i=1ncifi(p)∏j=1i−1(1−fj(p))\bold{C}(\bold{p}) = \sum_{i=1}^n\bold{c}_if_i(\bold{p})\prod_{j=1}^{i-1}(1-f_j(\bold{p}))C(p)=i=1∑ncif