《面向高速三维表面成像的微型深度学习轮廓术》论文总结

**

《面向高速三维表面成像的微型深度学习轮廓术》论文总结

**
00摘要
如何从记录的光学信号中获取尽可能丰富、快速且准确的对象信息，一直是追求强大成像技术的关键问题。如今，超高速摄影的速度可以超过每秒一千万亿次。然而，它只能记录缺乏深度信息的二维图像，极大地限制了我们感知和理解复杂现实物体的能力。受计算机视觉中深度学习方法近期成功启发，我们提出了一种名为微深度学习轮廓测量法（μDLP）的新型高速三维（3D）表面成像方法，该方法使用结构光照明。通过适当训练的深度神经网络，可以从单个条纹图像中预测相位信息，然后将其转换为三维形状。实验表明，μDLPcan以每秒20,000帧的速度忠实恢复了动态物体的几何结构。此外，与广泛使用的基于傅里叶变换的快速3D成像技术相比，μDLP在相位精度、重建效率和易实现性方面表现更优，验证了that μDLP是一种强大的高速3D表面成像方法。

01.导言
在本研究中，我们提出了一种新型微深度学习轮廓测量法（μDLP），该方法能够为瞬态场景实现高质量的三维形状重建。微尺度意味着条纹图案的频率变化和周期值都很小，这使得相位测量具有极高的精度，并且对全局光照具有较强抗干扰能力。深度学习作为一种强大的机器学习技术，在众多成像和计算机视觉应用中已取得显著成效[56-61]。得益于机器学习的优势，本方法在三个方面优于现有最先进方法：首先是高效性，通过训练有素的神经网络可从单张图像中提取相位信息；与μFTP相比，仅需使用半数图像即可获得三维图像。其次是高质量相位测量，实验表明μDLP的相位误差仅为傅里叶变换（FT）和小波变换（WFT）的三分之一，接近μFTP的一半。此外，仅需三张图像即可近似复现多帧相移法（需36张图像）计算出的真实三维结果。最后，本方法操作简便。与基于傅里叶变换的方法不同，后者在相位测量中深度依赖parameters，e.g.的精细调节、FT中的窗口大小、WFT中的σ值、采样间隔和频率阈值，而本提出的μDLP在神经网络训练完成后即可完全自动化运行。这意味着可以避免对最优参数进行穷举搜索。实验表明，μDLP是一种强大的高速三维表面成像方法，能够以每秒20,000帧的速度重建瞬态场景的高精度三维形状。

2.理论

在μDLP中，条纹图像通过结构光照明系统捕获，该系统通常由投影仪和相机组成。根据图1所示的示意图，投影仪将条纹图像投射到被测物体上，以编码被照亮的表面。相机从不同视角捕捉该图像，从而条纹因物体深度变化而产生畸变。随后根据捕获的条纹图像计算相位，该相位作为线索用于获取三维信息。




神经网络经过训练，可预测每个输入图像I（x，y）对应的分子M（x，y）和分母D（x，y）。每对分子与分母{M(x，y），然后，将yD（x，y）输入反正切函数（公式(3)）以获得包裹相位图φ（x，y）。
接下来，通过基于投影距离最小化的时序相位解缠算法得到解缠相位图Φ（x，y）。

神经网络：
输入：3张不同频率的条纹图案
输出：对应的分子和分母
标签：采用12步法获得对应频率的分子和分母
训练数据集：实验共采集了45个不同场景的训练数据，涵盖简单与复杂物体类型。每个场景记录12×3组相移条纹图案，最终所有场景共计获得1620幅条纹图像。

03实验

3.1.静态场景的μDLP性能

3.2.动态场景的μDLP性能

3.3.三维重建精度的定量评价

04结论

在本研究中，我们提出了一种新型高速三维表面成像方法μDLP，能够重建瞬态事件的密集且精确的三维形状。与大多数使用结构光照明的快速三维成像技术不同，μDLP该方法通过适当训练的深度神经网络，可以从单个条纹图像中提取相位信息。仅需几张波长略有不同的条纹图像，即可获得清晰且高质量的三维重建结果。

参考文献：Micro deep learning profilometry for high-speed 3D surface imaging
声明：作者水平有限，如有错误，务必留言指正，共同学习进步！（如有帮助，不妨点赞评论。）