《基于深度学习的近红外条纹投影三维测量》-论文总结
《基于深度学习的近红外条纹投影三维测量》-论文总结
00摘要
条纹投影轮廓术（FPP）因其高精度、非接触和全场扫描的优点而广泛应用于三维测量。与大多数投影可见图案的FPP系统相比，近红外光谱中的不可见条纹图案对人眼或需避免强光照明的场景影响更小。然而，由近红外激光产生的不可见图案通常伴随着严重的散斑噪声被捕获，导致三维重建质量受限。为解决此问题，我们提出一种基于深度学习的框架，可消除散斑噪声的影响并提高三维重建的精度。该框架包含两个深度神经网络，其中一个学习生成清晰的条纹图案，另一个从图案中获取精确的相位。与依赖复杂物理模型的传统去噪方法相比，所提出的基于学习的方法要快得多。实验结果表明，该方法能有效提高测量精度。
01引言
在不可见红外图像成像过程中，未经处理的激光束会导致检测区域照明不均，并在探测器像平面上产生大量激光散斑。散斑噪声导致图像像素幅度的随机分布，形成模糊、颗粒状的分布结构，使图像的细微特征变得模糊。简单的方法是使用大步长的相移法来减少散斑噪声，但这会降低效率。通常，基于图像处理的散斑去噪方法可分为以下几类：
(1) 空域去噪方法，
(2) 变换域去噪方法，
(3) 基于学习的去噪方法。
Muhire等人[23]将维纳滤波应用于数字散斑干涉术获得的散斑图像去噪。在维纳滤波中，获得噪声的统计估计并最小化；然而，它也会导致边缘模糊。Leng等人[24]采用Lee滤波器对数字全息图重建图像中的散斑进行去噪。通过采用最小均方误差滤波准则，该滤波器实现了良好的散斑去噪性能。此外，在均匀区域中，它能很好地去除散斑。然而，它同时会导致边缘和纹理模糊。Qian等人[25,26]提出了基于傅里叶变换的去噪方法，称为窗式傅里叶变换（WFT），这是一种变换域去噪方法。通过对散斑图像的WFT系数应用适当的阈值技术，以消除散斑噪声的频谱贡献。然而，该方法的阈值需要根据不同的场景凭经验确定。Huang等人[27]构建了另一种变换域去噪方法，称为二维经验模态分解（BEMD），它是经验模态分解的扩展。无需任何阈值函数，它在散斑去噪方面表现出良好性能，但由于算法中使用了筛选过程和插值类型，计算效率较低。Zhang等人[28]提出了一种灵活的去噪卷积神经网络，称为FFDNet。FFDNet最初用于消除普通高斯噪声，随后由Hao等人[29]进一步应用于散斑去噪。此外，为了执行图像去噪，块匹配与三维协同滤波（BM3D）方法被广泛应用[30–32]，它是空域去噪和频域去噪算法的融合，能够在保证图像信噪比的同时保留图像的结构和细节。然而，BM3D算法对sigma参数敏感，需要根据输入源调整以控制不同对象和环境场景的去噪程度。此外，其时间成本较高，可能影响测量效率。
本文提出了一种用于近红外不可见条纹投影的三维测量方法，该方法引入深度学习技术以消除散斑噪声的影响，并高效地生成精确的三维模型。
首先，构建一个深度学习去噪网络，通过学习BM3D获得的真实结果来去除散斑噪声。
然后，构建另一个深度神经网络，利用滤波后的条纹图案计算相位的正弦项和余弦项。相位提取网络的输出代入反正切函数进行最终的相位计算。
实验表明，我们的方法可以从单幅严重散斑噪声的条纹图像中获得高精度的相位信息，并实现80 µm的三维测量精度。
02方法
我们构建了一个包含两个卷积神经网络（CNN1和CNN2）的深度学习框架。CNN1学习去除原始条纹图案中的散斑噪声，CNN2则被训练用于从CNN1输出的处理后条纹图案中获取相位的正弦项（即分子）和余弦项（即分母）。然后将这些项代入反正切函数以获得包裹相位。在利用相位作为线索进行相位展开和立体匹配后，即可获得三维模型。
CNN1:
输入：含有噪声的条纹图像
输出：去噪后的条纹图像
标签：经BM3D处理的条纹图像被用作真值干净图像
损失函数：
CNN2:
输入：去噪后的条纹图像
输出：预测反正切函数的分子M(x, y)和分母D(x, y)
标签：经8步相移法获得的反正切函数的分子M(x, y)和分母D(x, y)
损失函数：
**训练集：**我们拍摄了800幅不同场景的条纹图像。
03. 实验
扫描模块（1280×960分辨率）和两个工业相机（acA640-750um，Basler）组成。近红外照明的波长为830 nm。相机配备了两个5 mm镜头，镜头前放置了两个近红外带通滤光片，用于捕捉所需的近红外条纹图案。
04. 结论
本文提出了一种基于深度学习的框架，可降低近红外激光拍摄图像中散斑噪声的影响，并提升三维重建结果的质量。该框架包含两个执行不同任务的深度神经网络：一个是图像去噪网络，负责对条纹图案进行去噪；另一个是相位提取网络，用于从图案中获取精确相位。受通用视觉图像去噪方法的启发，我们开发了所提出的方法。我们认为该方法具有扩展至更多类型图像的潜力。我们的方法仅使用一幅条纹图像即可达到80 µm的精度。实验结果表明，与BM3D等传统去噪方法相比，所提出的基于学习的方法可将去噪速度提高一个数量级以上。此外，使用我们的方法显著提升了三维重建的精度。
参考文献：Deep Learning-Based 3D Measurements with Near-Infrared
Fringe Projection
声明：作者水平有限，如有错误，务必留言指正，共同学习进步！（如有帮助，不妨点赞评论）。