LSS论文阅读
计算机视觉通用做法:
通常将图像作为输入,并输出一个与坐标系无关的预测(例如在分类中 [19, 30, 16, 17])
或一个与输入图像相同坐标系中的预测(例如在目标检测、语义分割或全景分割中 [7, 1, 15, 36])
单目3d目标检测分为3类
1、二阶段,第一阶段网络学习2d目标检测,第二阶段网络学习2d到3d的恢复
2、伪lidar:学习深度估计,同时预测bev
3、类似于detr3d,用3维参考点,基于内外参去各个2维图像上收集信息
BEV有两个体系
第一种体系是LSS, 通过显示深度估计获取3d信息
第二种体系是BEVFormer,通过3d采样点投影到2d来获取信息。
pipeline
图像特征提取-> lift升为3维–>外参矩阵获取2d信息->splat,将3维信息拍平到bev平面上
特点
1、训练从6个图像中随意选5个,进而使模型获取对任意相机的处理能力
2、对内外参增加噪声,用于应对内外参噪声的问题。
