常用相机类型
- 单目相机：仅使用一个摄像头进行图像采集，结构简单、成本低。它可以获取无人机前方或下方的二维图像信息，包括物体的形状、颜色、纹理等。
- 双目相机：由两个摄像头组成，模拟人类双眼视觉原理，通过两个摄像头拍摄同一物体的不同视角图像，可计算出物体的深度信息，进而获取三维空间信息，能更准确地感知物体的距离和位置。
- RGB-D 相机：能同时获取彩色图像（RGB）和深度图像（D），深度信息通常通过结构光、飞行时间（ToF）等技术获取。它结合了颜色和深度数据，为视觉定位提供更丰富的信息，可用于精确的目标识别和定位。
- 鱼眼相机：具有超广角视野，能拍摄到大面积的场景，可获取更广阔的环境信息，有助于无人机在复杂环境中进行全局定位和避障，但图像会存在较大程度的畸变，需要进行专门的畸变校正处理。
相机提供的数据信息
- 单目相机
- 图像数据：一系列包含丰富视觉信息的二维图像帧，像素值表示图像中每个点的颜色和亮度等信息。
- 特征点信息：通过图像特征提取算法，可得到图像中的角点、边缘等特征点的位置和描述子等信息，用于图像匹配和目标跟踪。
- 双目相机
- 左右图像数据：分别来自左右两个摄像头的二维图像帧，用于后续的立体匹配计算。
- 视差信息：通过对左右图像进行立体匹配算法计算得出，反映了同一物体在左右图像中位置的差异，与物体的深度成反比，可据此计算出物体的深度和三维坐标。
- RGB - D 相机
- RGB 图像数据：与单目相机的彩色图像类似，提供物体的颜色、纹理等外观信息。
- 深度图像数据：每个像素点对应一个深度值，代表该点与相机的距离信息，可直接用于获取物体的三维位置和形状。
- 鱼眼相机
- 超广角图像数据：能覆盖较大角度范围的二维图像，包含更多的环境信息，但图像存在严重畸变。
- 畸变参数：相机自身的畸变模型参数，用于对采集到的图像进行畸变校正，以恢复真实的图像信息。
飞控对相机数据的处理方式
- 数据接收与预处理
- 数据传输：相机通过 USB、SPI、CSI 等接口将采集到的数据传输给飞控。
- 格式转换：飞控将接收到的相机数据从原始格式转换为可处理的图像格式，如将 RGB 数据转换为适合图像处理算法的矩阵形式。
- 降噪与滤波：采用均值滤波、中值滤波等方法去除图像中的噪声，提高图像质量。
- 特征提取与匹配
- 特征提取：对于单目、双目和 RGB-D 相机，飞控使用 SIFT、SURF、ORB 等特征提取算法，从图像中提取特征点和特征描述子。对于鱼眼相机，需先进行畸变校正后再提取特征。
- 特征匹配：在连续的图像帧或双目图像之间，通过匹配算法将当前帧的特征点与上一帧或另一目图像中的特征点进行匹配，常用的匹配算法有暴力匹配、FLANN 匹配等，以确定特征点在不同图像中的对应关系。
- 姿态与位置计算
- 单目相机：利用特征点的运动信息和相机的运动模型，通过视觉里程计算法，如基于光流法或直接法的视觉里程计，估计无人机的姿态和位置变化，但单目视觉存在尺度不确定性，通常需要结合其他传感器进行尺度估计。
- 双目相机：根据视差信息和三角测量原理，计算出特征点的三维坐标，进而通过 PnP（Perspective-n-Point）算法等估计无人机的姿态和位置。
- RGB-D 相机：直接利用深度图像中的深度信息和 RGB 图像中的特征信息，计算特征点的三维坐标，然后通过类似的姿态估计算法确定无人机的姿态和位置。
- 鱼眼相机：在进行畸变校正后，利用其超广角图像信息，结合相应的视觉定位算法，如基于全景视觉的定位算法，计算无人机的姿态和位置，由于其大视角特性，可在一定程度上提高定位的准确性和鲁棒性。
- 融合与反馈
- 传感器融合：飞控将视觉定位信息与其他传感器（如 IMU、GPS 等）的信息进行融合，常用的融合算法有卡尔曼滤波、扩展卡尔曼滤波、粒子滤波等，以得到更准确、稳定的无人机姿态和位置估计。
- 控制反馈：根据融合后的姿态和位置信息，飞控计算出控制指令，调整无人机的电机转速、舵机角度等，实现无人机的精确控制和稳定飞行，以达到预定的飞行目标和任务要求。
