MapDistill:通过相机 - 激光雷达融合模型蒸馏提升高效基于相机的高清地图构建性能
在线高清(HD)地图构建是自动驾驶领域中一项重要且具有挑战性的任务。近年来,不依赖激光雷达(LiDAR)等其他传感器、具有成本效益的多视图相机方法受到了越来越多的关注。然而,这些方法
缺乏明确的深度
信息,因此需要使用大型模型才能实现令人满意的性能。为解决这一问题,我们首次将知识蒸馏
(Knowledge Distillation,KD)思想应用于高效高清地图构建,并提出了一种基于知识蒸馏的新方法 ——MapDistill
,该方法可将高性能相机 - 激光雷达融合模型的知识迁移到轻量级纯相机模型中。具体而言,我们采用teacher-student
架构,即把相机 - 激光雷达融合模型作为教师模型,轻量级相机模型作为学生模型,并设计了双鸟瞰图(BEV)转换模块,以促进跨模态知识蒸馏,同时保持具有成本效益的纯相机部署方式。此外,我们提出了一套全面的蒸馏方案,包括跨模态关系蒸馏
(cross-modal relation distillation)、双层次特征蒸馏
(dual-level feature distillation)和地图头
(map-head)蒸馏。该方法缓解了模态间知识迁移的难题,使学生模型能够学习到更优的特征表示,从而用于高清地图构建。在具有挑战性的 nuS