自动驾驶传感器的标定与数据融合

目录

IMU的标定

相机的标定

激光雷达和组合惯导标定

相机和激光雷达标定

传感器数据融合

多传感器融合数据处理

传感器数据融合算法

环境感知与预测

应用实例——车道线识别

应用实例——车辆行人识别

应用实例——交通标志识别

定位系统

基于惯性导航仪的定位技术

基于视觉的导航定位技术

基于激光点云SLAM的定位技术

多传感器融合定位技术

---

IMU的标定

确定车辆坐标系

z轴指向车顶垂直于地面向上 y轴指向车辆前方 x轴指向车辆右侧。 原点位于车辆后轮轴的中心。

选择笔直的道路，让车辆沿着道路直行一段距离。 采集IMU的数据。 分析IMU输出轨迹和车辆沿Y轴前进的轨迹。 计算IMU在车上的外参，即绕坐标轴的角度偏移量。

相机的标定

相机标定涉及： 内参（如焦距、主点位置、畸变系数） 外参（包括相机坐标系与世界坐标系之间的旋转矩阵和平移向量）两方面的确定。

相机外参标定： 指相机坐标系与世界坐标系之间的旋转矩阵和平移向量的确定

相机坐标系转化为世界坐标系就像把照片上的点换算成实际位置一样

相机坐标系-图像坐标系

激光雷达和组合惯导标定

激光雷达和组合惯导的标定过程涉及使用手眼标定方法获得外参初始值。

优化拼接的方法对外参进行优化

相机和激光雷达标定

相机和激光雷达联合标定通过参照物位置姿态信息反向计算外参矩阵，关键在于准确初始外参值和选择合适标定场地。

传感器数据融合

多传感器数据融合利用计算机技术综合多个传感器信息进行决策和估计，经过传感系统搭建、数据采集、预处理、特征提取、融合算法计算分析和输出目标特征信息等步骤。

硬件层融合难度： 摄像头、激光雷达和毫米波雷达之间在硬件层面很难融合，因为毫米波雷达分辨率低，无法确定目标大小和轮廓，但可以在数据层上进行融合，比如目标速度估计、跟踪轨迹等。

摄像头和激光雷达的数据融合： 传统方法包括Bayes滤波、自适应引导图滤波、传统的形态学滤波等，而基于深度学习的传感器数据融合算法是目前较多采用的方法。

硬件层融合： 传感器厂商（如禾赛和Mobileye）利用传感器的底层数据进行融合。

数据层融合：  各种传感器生成各自独立的目标数据，主处理器融合这些特征数据来完成感知任务。

任务层融合： 首先各传感器完成感知或定位任务，然后在任务完成后添加置信度进行融合。