激光雷达与可见光相机的图像融合

目录

硬件准备：速腾聚创16线激光雷达、120°无畸变USB相机。

一、数据采集

1、点云数据采集：

2、图像数据采集：

二、联合标定

1、标定板制作

2、相机标定

3、相机雷达联合标定

三、算法融合——映射雷达点云到相机图像

1、配置环境

2、 启动激光雷达和相机

3、功能模块详细介绍

​​​​​​​四、 未来工作展望

---

硬件准备：速腾聚创16线激光雷达、120°无畸变USB相机。

一、数据采集

1、点云数据采集：

1、使用抓包工具wireshark获取激光雷达IP（本次使用的激光雷达IP为192.168.1.201，MSOP端口6699，DIFOP端口7788，后续无需抓取可直接使用）；

2、官网下载激光雷达软件RSView并配置IP、MSOP和DIFOP端口号以及本地PC的IPv4地址（192.168.1.102），子网掩码（255.255.255.0）；

3、软件内置保存格式有pcap和csv格式，保存需要的数据，并编写代码将其转化成pcd格式。

注：使用RSView在线读取雷达功能必须关闭防火墙。

图1 RSView读取激光雷达界面展示图

2、图像数据采集：

采用系统自带的相机拍照，根据每一个雷达界面拍一张对应的视觉图像。

二、联合标定

1、标定板制作

 要求：标定板棋盘格尽量无白边，标定板强度要高，棋盘格两端黑方块存在一奇一偶，且方块不宜过小

图2 标定板的制作过程图

2、相机标定

1、拍摄要求：不同距离拍摄标定板以下方位的图片，大概包括：

  1）、标定板在图像正对面中间、标定板在图像左、在图像右边；

  2）、标定板俯仰的图片，以及在图像左中右不同位置的；

  3）、旋转标定板倾斜到一定角度，且在图像左中右不同位置的；