BEV和OCC学习-1：数据集以及评估指标
目录
参考资料入门：
数据集：
BEV评估指标
KITTI数据集评价指标
nuScenes数据集评价指标
参考资料入门：
1. 高翔slam
2. AI：亚马逊 李沐Ai 莫凡python
3. arxiv.org/pdf/2303.01212 自动驾驶中基于网格的交通场景感知：研究综述 - 知乎
4. GitHub - qxiaofan/awesome-Bev-Occupancy-course: BEV & Occupancy 从入门到精通
数据集：
1. nuScenes
Object detection task - nuScenes
2. KITTI
The KITTI Vision Benchmark Suite
BEV评估指标
KITTI数据集评价指标
三种难度等级：Easy Moderate Hard
评价指标：
- 目标高度：指目标在BEV图像中占用的高度（即目标的最短边在BEV图像中要大于**Px）
- 最大截断率：最大截断率是指目标与激光雷达点云的匹配程度的上限：例如，在Easy难度级别下，最大截断率为15%，这意味着目标与激光雷达点云的匹配程度不低于85%；最大截断率=1-最小覆盖率
nuScenes数据集评价指标
- mAP（mean Average Precision）bev下2d中心点的距离来评价，而不是像2d检测里用iou来评价；
- mATE（Average Translation Error）平均平移误差，中心点的2D欧式距离，单位米；
- mASE（Average Scale Error）平均尺度误差，中心点和朝向对齐后的尺度误差，1 - IOU，其中IoU是角度对齐后的三维交并比；
- mAOE（Average Orientation Error）平均角度误差，朝向误差，是预测值与真实值之间最小的偏航角差。（所有的类别角度偏差都在360°内，除了障碍物这个类别的角度偏差在180°内）；
- mAVE（Average Velocity Error）平均速度误差，是二维速度差的L2范数（m/s)；
- mAAE（Average Attribute Error）平均属性误差，被定义为1-acc，其中acc为类别分类准确度；
- NDS（nuScenes detection score）对上述所有进行加权平均
- 先计算所有类别的平均TP（mTP)
- NDS 的一半基于检测性能，而另一半则根据框位置、大小、方向、属性和速度来量化检测质量。由于 mAVE、mAOE 和 mATE 可能大于 1 ，因此会将每个指标限制在 0 和 1 之间。
- PKL：主要测量规划的路径与真实路径之间的差异，以此来衡量感知性能，差异越小，性能越优。
注意：
- AVE（平均速度误差）：不适用于路标锥和障碍物，因为它们是固定不动的，没有速度可测量。
- AOE（平均角度误差）：不适用于路标锥，因为它们没有明确的方向或朝向，无法评估其角度误差。
- AAE（平均属性误差）：不适用于路标锥和障碍物，因为这些类别没有定义明确的属性，无法计算属性相关的错误率。