ToF相机之flying pixel

近年来的工作梳理：

2008 Sub-pixel data fusion and edge-enhanced distance refinement for 2D/3D images，

International Journal of Intelligent Systems Technologies and Applications  Vol. 5, No. 3-4

In contrast to standard images, low-resolution PMD images provide inaccurate distance information for pixel covering depth inhomogeneity, yielding so-called flying pixels, or areas with insufficient incident active light. The latter is marked asinvalid during the background segmentation.与标准图像相比，低分辨率PMD图像为覆盖深度不均匀性的像素提供了不准确的距离信息，产生所谓的飞行像素，或入射光不足的区域。后者在背景分割过程中被标记为无效。

away from the edge avoiding edge smoothing and discarding flying pixel information for the sampling of sub-pixel locations.远离边缘，避免边缘平滑，丢弃飞行像素信息对亚像素位置进行采样

图 7 64 × 48 PMD 传感器的金字塔插值方案（总放大因子 8）的结果：（a）双二次； (b) 和 (d) 边缘定向双二次； (c) 和 (e) 我们的迭代边缘定向方法。

Applying our iterative method, both the staircase effect as well as the flying pixels are heavily reduced and flat regions are still smooth (Fig. 7e).应用我们的迭代方法，楼梯效应和飞行像素都大大减少，平坦区域仍然平滑(图7e)。

Due to the suppression of invalid and flying pixels, color mismatches hardly occur. 由于抑制无效和飞行像素，几乎没有发生颜色不匹配。一世

2009 Time-of-Flight Cameras in Computer Graphics，Computer Vision and Image Understanding 

Depth inhomogeneity: The mixing process in a pixel that observes a region with inhomogeneous depth results in superimposed signals and leads to wrong distance values ('flying pixels'), e.g. at object boundaries (see Figure 3, right).深度不均匀性：观察深度不均匀的区域的像素中的混合过程会导致叠加信号并导致错误的距离值（“飞行像素”），例如在对象边界（见图 3，右）。

图3:基于pmd的ToF相机的误差源。左：所有像素（灰色）和拟合平均偏差（黑色）的系统距离误差。中：在感知具有不同反射率的平面物体时强度相关的距离误差。右图：墙前水平移动平面物体的运动伪影（红色）和飞行像素（绿色）。

2.3.ToF相机模拟

在ToF相机开发及其应用的背景下，ToF模拟器发挥了重要作用。非常灵活但效率相当低的仿真方法是基于通用仿真工具，如MATLAB [PLHK07]。使用并行 GPU 编程范式 [KKP07, KK09] 实现了处理主要传感器误差（即系统距离误差、飞行像素和运动伪影）的实时模拟器。这允许在实时处理管道中直接替换相机来评估新的传感器参数。

Regarding flying pixels, which represent false geometric information, Huhle et al. [HSJS08] present a technique based on the non-local means filter. Alternatively, edge-directed resampling techniques can be used, combined with an upscaling technique applied to the range image [LLK08].关于表示虚假几何信息的飞行像素，Huhle 等人。 [HSJS08] 提出了一种基于非局部均值滤波器的技术。或者，可以使用边缘定向重采样技术，并结合应用于范围图像的放大技术[LLK08]。

2010 Time-of-Flight sensor calibration for accurate range sensing，Computer Vision and Image Understanding 2010

3.4. 飞行像素

除了噪声、硬件不等式和理论信号不匹配外，由于相对大的立体角的像素，也可能出现虚假距离信息。在这里，立体角内的不同距离导致叠加反射光降低其振幅，并引入假相移——通常称为飞行像素。这些像素通常位于论坛和背景之间，但也可以根据表面的真实距离倾向于相机。虽然上面的大多数误差源都可以通过校准模型阻尼，但飞行像素只能被检测并标记为无效以供进一步处理。

进一步的工作将处理反射率引起的深度误差对ToF相机积分时间的依赖性。已知但研究较少的误差源是飞行像素。需要对这些飞行像素进行系统识别和校正。角中的ToF相机测量显示由于多次反射而产生的舍入。未来还针对这些错误的识别和校正。

2010  Cooperative Bin-Picking with Time-of-Flight Camera and Impedance Controlled DLR Lightweight Robot III，The 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems

PMD技术会造成几个误差源，影响距离测量的准确性。动态运动模糊和分辨率伪影导致所谓的飞行像素。典型的距离相关误差也是此类传感器的重要效果。当单个PMD像素覆盖非均匀深度的区域时，就会出现飞行像素。T

2011 Capturing Time-of-Flight data with confidence，CVPR2011（重要：检测飞点问题）

图1。飞行像素。(a)颜色编码的ToF深度图(红色表示接近的几何形状，蓝色表示远处的几何形状)。自发深度读数是由反射率不合适、深度不连续较大的材料引起的(见下椭圆)。这些像素从前景和背景中收集调制光，并给出介于两者之间的结果距离。顶部椭圆显示向相机飞行的像素，但这是一种不同的现象，由监视器顶部的高度镜面反射引起。(b) 强度和 (c) 幅度图像。

In agreement with Kolb et al. [16], our experiments reveal that simply thresholding low-amplitude values is insufficient to remove inaccurate pixels—valid points could be lost beforeflying pixels and other anomalies as depicted in Fig. 1(a) are removed.与Kolb等人[16]一致，我们的实验表明，简单地对低振幅值进行阈值处理不足以去除不准确的像素——在飞行像素和其他异常之前可能会丢失有效点，如图1(a)所示。

Subsequently, a custom-made neighborhood consistency filter detects and removes flying pixels at edge locations in the distance image. Nevertheless, all of the above produce only binary classification of erroneous depth readings.随后，定制的邻域一致性滤波器检测和去除距离图像中边缘位置的飞行像素。然而，上述所有内容仅产生错误深度读数的二元分类。

As a result, many laser scanned points at various depths fall within the point spread function of a ToF pixel, as shown in Fig. 4. One could choose the closest, i.e. frontmost of the points for ˆDi,j , but flying pixels occasionally occur in laser data as well and could provide erroneous depths. Neither the minimum nor the mean of these points' depths would be appropriate (Fig. 4).因此，不同深度的许多激光扫描点落在ToF像素的点扩散函数内，如图4所示。可以选择最接近的点，即ˆDi,j的最前面，但飞行像素偶尔出现在激光数据中，可以提供错误的深度。这些点深度的最小值和平均值都不合适（图 4）。

图4。激光扫描仪(红色)和ToF相机(蓝色)获取的场景的俯视图。我们将激光几何形状投影到ToF相机(绿色)，而不考虑遮挡。插图深度直方图显示了来自不同位置的激光点如何投射到单个ToF像素中，但只有来自A的点是有效的。D 和 E 之间 ToF 可见的区域没有被激光扫描仪覆盖，因此这里没有获取训练数据。

Our initial observations indicated that flying pixels at depth discontinuities were among the most noticeable artifacts in ToF data, but that not all sharp depth changes were incorrect.我们最初的观察表明，深度不连续处的飞行像素是ToF数据中最显著的伪影之一，但不是所有尖锐的深度变化都是不正确的。

Fig. 8 shows a photo of a test scene which included large depth discontinuities and many flying pixels. The thresholded point cloud once more shows successful elimination of flying pixels and other forms of outliers.图8显示了包含大深度不连续和许多飞行像素的测试场景的照片。阈值点云再次显示出成功消除飞行像素和其他形式的异常值。

2011 Stereo Time-or-Flight，2011 IEEE International Conference on Computer Vision ICCV

快速获取深度图像在机器人、人机交互和场景建模[12]等广泛的应用中有着广泛的应用。不幸的是，可用的ToF相机分辨率较低，受不同测量误差[14]的影响。这些包括传感器引起的噪声；由于产生正弦信号的困难，系统摆动误差；依赖于反射率和积分时间的非线性深度偏移；和深度不均匀性(边缘)信号叠加产生的飞行像素。因此，ToF 深度测量的不确定性很重要（以 cm 的顺序）。

2011 Exposure Fusion for Time-Of-Flight Imaging，computer graphics 2011

2012 Patch Based Synthesis for Single Depth Image Super-Resolution,Lecture Notes in Computer Science,2012

3.1深度图像噪声

取决于所使用的传感器，深度图像可以包含相当数量的噪声。已经开展了工作，试图表征ToF传感器[31]的噪声。由于不同表面的平均，它们表现出深度不连续处的飞行像素等现象，并返回不正确的深度读数从镜面和暗材料[28]。结合低记录分辨率(与强度相机相比)，这种噪声带来了额外的挑战，这在超分辨率图像时不存在。我们可以尝试对下采样函数↓d *进行建模，该函数采用干净的无噪声信号并扭曲它。然而，这是一项不平凡的任务，将导致一种方法非常特定于传感器类型。相反，我们假设，对于 ToF 传感器，大多数高频内容都是噪声。为了消除这种噪声，我们在归一化补丁之前对输入图像 X 进行双边滤波器 [32]。还过滤高分辨率训练补丁（其中↓d 是双三次过滤器），以便所有匹配都是在相似的补丁上进行的。

图4。A)来自合成数据集的示例。左图显示深度图像，右图是3D投影。注意深度图像中的干净边和3D投影中缺乏噪声。B) Brown Range Image Database [24] 的示例场景，它表现出低空间分辨率和飞行像素（红色框）。

正如 Reynolds 等人所观察到的。[28]，飞行像素和其他形式的严重非高斯噪声需要预过滤。通过传感器特定的噪声模型选择性地使用输入深度可以获得改进。

2013 Time-of-Flight and Depth Imaging Sensors, Algorithms, and Applications，Dagstuhl 2012 Seminar on Time-of-Flight Imaging and GCPR 2013 Workshop on Imaging New Modalities（较多相关）

2.3深度不均匀性

ToF 成像中一种重要的错误类型，即所谓的飞行像素，沿深度不均匀性发生。为了说明这些错误，我们考虑一个具有一个前景和一个背景对象的深度边界。在传感器像素的立体角范围落在前景和背景的边界的情况下，记录的信号是来自这两个领域的光返回的混合。由于深度对原始通道的非线性依赖性和相位模糊，得到的深度不限于前景和背景深度之间的范围，但可以获得相机深度范围的任何值。我们将在 4.1 节中看到，这对于区分前景和背景深度和异常值范围内的飞行像素很重要。今天的ToF传感器只提供低分辨率这一事实促进了两种飞行像素的发生。

我们注意到深度不均匀性问题与多重返回问题有关，因为这里来自不同路径的光在一个传感器单元中混合。然而，在飞行像素的情况下，相邻像素的局部信息可以用来近似重建原始深度。有关详细信息，请参阅第 4.1 节。

距离成像的标准AMCW模型是基于这样的假设，即光返回到传感器每个像素的光来自场景中的单个位置。不幸的是，这一假设在大多数实际感兴趣的场景中被违反，因此多次光返回确实到达一个像素，通常会导致对该像素处范围的错误重建。由于两个主要问题，可以分类多个返回源。首先，成像像素查看场景的有限立体角和观察立体角中场景的不均匀性导致光的多个返回——所谓的混合像素效应导致飞行像素（见上2.3节）。其次，光可以传播多条路径与场景的观察部分和成像像素相交——多径干涉问题。Godbaz [11] 对多个返回问题进行了全面处理，包括涵盖完整字段 TToF 和其他相关问题测距系统的评论，例如点扫描仪。

4.1 Depth Inhomogeneity and Denoising深度不均匀性和去噪

对于去噪飞行时间数据的任务，请参阅第 2 章，第 2 章，其中详细讨论了最先进的去噪方法和去噪策略。在下文中，我们关注飞行像素的问题。我们区分了直接处理ToF相机的2D输出的方法和将数据解释为3D场景(如点云)后应用的方法。

在应用于 2D 数据的方法中，我们注意到中值过滤是粗略校正飞行像素的简单方法，这些像素位于对象的深度范围之外。我们参考[30]进行更复杂的过滤管道。此外，我们注意到某个扩展的去噪方法能够处理此类飞行像素。这是因为深度不均匀性的区域通常是一维结构，飞行像素只出现在这些区域的窄带中。因此，超出范围的飞行像素可以被视为深度测量中的异常值。去噪方法通常对此类异常值具有鲁棒性，并产生具有一定空间规律性的重建。对近程飞行像素的校正要复杂得多。标准方法是识别此类像素，例如通过置信度度量 [31] 并丢弃它们。然后使用来自周围像素的信息重建丢弃像素的深度值。特别是，像素必须分配给相邻对象之一。超分辨率方法[32,33]允许将像素区域部分分配给每个对象。

此外，在考虑 3D 数据（点云）时，几何信息可用于校正飞行像素，例如通过对 3D 数据进行聚类以确定底层对象表面（例如 [34,35]）。

最后，将点云[36,37]与亚像素精度的不同源融合时，可以处理飞行像素。在这里，可靠地识别飞行像素是实质性的，以便在实际的融合过程之前删除它们。然后将缺失的深度数据替换为来自其他源的输入。为了识别飞行像素，可以考虑ToF数据的置信度量[31]。

混合像素。

由于像素具有一定的尺寸，激光束也有一定的宽度，受光束发散的影响，导致物体边界处的混合像素效应。由于大多数ToF扫描仪中使用的重建公式不像ToF成像仪1那样高度非线性，这些点位于前景和背景深度之间。根据近物体的距离，这仍然会导致物体的实质性展宽。当前的 TLS 系统采用起始光束直径为 6 mm 的激光器，光束发散范围为 ≈ 0.1 mrad。尽管最常用的高斯光束轮廓允许在正交方向上更精确地定位光束中心，但在与光束直径大小相同的区域中观察到混合像素效应。TToF成像仪具有40度视场和200像素传感器分辨率的粗略计算，产生像素在2米距离处占约6毫米(依赖于不考虑点扩散函数的影响)。这意味着，特别是超分辨率，飞行像素补偿和去噪算法应该评估混合像素效应是否真的会影响它们在深度边界处的评估。图 2 中可以看到具有混合像素的示例扫描。

图 2. 具有大量飞行像素的基于 LiDAR 的点云

Keller 和 Kolb 使用空间过采样来模拟飞行像素等典型效果。对于每个传感器像素，光栅化为该传感器像素覆盖的锥体生成具有光源信息的亚像素块。这允许将入射光特性计算为不同表面点响应的混合，这在对象边界很重要。此外，计算时间不同点的四个相位图像允许模拟动态场景中的运动伪影，其局限性假设场景在每个相位图像的曝光时间内是静态的。

需要注意的是，由于点云中的遮挡和飞行像素，基于激光雷达的多边形网格包含多个错误或孔洞。有关激光扫描仪数据的典型问题，请参见第 3.1 节。图6显示了数据集的ToF强度图像以及深度图和相应的

图6所示。左:ToF强度图像，中:ToF Z-Depth。观察物体角周围的“halo”。右图：Ground Truth Z-Depth。

景深。

通常被忽略，因为最常见的ToF相机的分辨率相当低，以及它们使用固定的聚焦光学。基于飞行像素，失焦记录可能会增加伪影。边缘质量也可能受到影响。

解调中的ToF深度。

这是所有融合系统中使用的飞行时间传感器的标准输出。与立体相反，这些模式的优点是深度估计 a) 在无纹理表面上工作，b) 在深度不连续处具有可以说更简单的行为（与立体中的边缘衰减不同）c) 是能够开箱即用的实时。主要缺点是横向分辨率有限，各种强误差源，如噪声、多路径、飞行像素、摆动，在一定程度上对背景照明的敏感性。第 1 章给出了这些错误和补偿它们的方法的详细描述。

深度预处理。

在重投影之前可以额外过滤深度数据，以避免由于噪声造成的错误遮挡。这包括简单的中值滤波来去除飞行像素到更复杂的去噪技术，如第 2 章所示。

Nair等人2012[32]。Nair等人考虑了一个同步的相机设置，允许校正立体图像。因此，位移场可以假定为水平(ux = d，视差为d，uy = 0)。所提出的方法包括两个阶段，它们都利用置信度度量来确定 ToF 或立体数据可能被损坏的区域。这些置信度度量涵盖了ToF数据的信号强度和飞行像素低的问题，以及立体数据中纹理和遮挡较弱的区域。对精确的详细回顾

系统距离误差、多次反射和飞行像素也可能影响基于ToF的手势界面。我们参考 [4] 和第 1、2 章，其中讨论了这些问题的各种解决方案。

Buddha和拖曳场景的地面真实深度数据(包括动态像素)与底层网格的偏差。它显示了静态和动态场景的平均距离误差和偏差。

与大多数以前的方法不同，所提出的方法不处理所谓的飞行像素等运动伪影，并尝试通过估计局部运动来消除它们。这些方法产生了明显不错的结果，但也可能导致对象的不正确轮廓（因为飞行像素是由多个距离的混合引起的）。相反，考虑到观察到的相机运动，整个相位图像相互移动。这种方法计算成本低，不引入不正确的测量。该方法忽略了围绕滚动轴的相机旋转，因为这种旋转通常会导致短采集时间的小影响，并且由于旋转相位图像以补偿它将引入混叠。

图 8. 使用 20 MHz 的单个调制频率评估帧内 MC 的实验

图8显示了一个更现实的实验来演示帧内MC。这里使用了20 MHz的调制频率、8.5 mm的透镜和10ms的曝光时间。引入了快速运动并导致对象边缘的运动伪影，这在应用 MC 时成功移除。只有物体边缘的飞行像素仍然存在，如果不影响物体的轮廓，就无法纠正。然而，具有调制幅度的简单阈值通常允许删除它们。

2014 Low-cost Coastal Mapping using Kinect v2 Time-of-Flight Cameras 2014 Oceans - St. John's

A. Flying Pixels

被称为“飞行像素”的伪影是飞行时间深度测量技术的一个众所周知的问题。飞行像素是覆盖边缘区域的像素的结果包含不同距离的对象。在这里，光脉冲从前景和背景对象返回，在两者之间某处生成距离测量。图13中的设置演示了飞行像素是如何沿着放置在彼此前面的两个板的边缘发生的，弥合了具有错误深度测量的板之间的差距。

图13。(左)由白板前面的棋盘组成的场景照片。(中)从该场景中捕获的点云的角度视图。(右)点云的正交投影侧视图。（底部）放大侧视图。请注意棋盘边缘与其后面的棋盘之间的飞行像素以及后板边缘后面产生的错误点。

已经建立了识别和过滤这些类型的飞行像素的方法。[11][12]许多方法适用于Kinect v2点云，除了任何依赖于检查返回光脉冲的强度或波形的例外，因为这个原始数据无法从Microsoft的SDK中访问。

2015 Defocus Deblurring and Superresolution for Time-of-Flight Depth Cameras，2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

因此，ToF 系统通常使用具有大数值孔径的成像光学来充分利用可用的光。然而，这也是有代价的;大孔径的视场深度较浅，因此在原始ToF图像中引入了离焦模糊。由于这些相机的非线性图像形成模型(见下文)，场模糊的深度给ToF相机带来了一个重要的问题，在深度不连续周围生成诸如“飞行像素”之类的伪影以及纹理细节的损失。

下一代ToF相机使用多个调制频率和相位来减少模糊性[10,16]。多频/相位数据还可以帮助解决对象边界处的“飞行像素”(前景和背景深度的混合)，并抑制全局照明引起的伪影[7]。由于表面材料和反射率等场景特性，单次曝光捕获的ToF数据可能有噪声或饱和。提出了多次曝光来增加测量的动态范围，并去除那些不可靠的像素[10,11]。我们的算法很好地适应这些相机，因为它直接从可能来自多个顺序捕获的原始测量中估计潜在振幅和深度。

合成数据。模拟佛陀场景结果如图3所示。朴素振幅a和深度z模糊，包含强噪声和飞行像素。在可视化的深度图中，飞行像素出现在与边界处的前景和背景表面不同的颜色。Godbaz 等人。方法对噪声高度敏感。他们的结果在一定程度上降低了模糊，但包含明显的噪声、振铃伪影和飞行像素。该方法显著降低了模糊像素和飞行像素，抑制了振幅a和深度z中的噪声。结果与地面实况数据进行比较。我们的方法比其他方法产生更高的 PSNR。

图 3：具有 0.5% 白噪声的模拟 Buddha 场景的结果。我们的方法显着减少了 a 和 z 中的模糊并抑制噪声，并减少对象边界处的飞行像素。结果的PSNR在括号中提供。

与合成示例类似，Godbaz 等人。方法无法处理噪声（这在低端 ToF 相机中很常见），并且无法恢复清晰的场景特征。我们的方法在抑制噪声、恢复尖锐特征和减少飞行像素方面产生了更高质量的振幅和深度。我们还使用 2x 超分辨率（即 Algo 中的上采样比 r = 2）运行我们的算法。1)，并表明我们在联合优化框架中通过超分辨率取得了更好的结果。我们对下采样算子 S 使用双三次插值。在图 11 中，我们展示了具有不同上采样比率的结果，并观察到我们的数据集在 4x 上采样之外几乎没有恢复更多细节。

我们的联合去模糊和超分辨深度和振幅保留了尖锐的特征，减少了比其他特征更好的飞行像素。

图 15：顶行显示深度结果和底部幅度。从左到右：（a）朴素方法； (b) 朴素方法 + 超分辨率； (c) Godbaz 等人 + 超分辨率； (d) 我们的去模糊 + 超分辨率； (e) 我们联合去模糊和超分辨率。TGV2prior 用于所有超分辨率。这两个场景来自图 7 和 10。

本文提出了一种同时去除透镜模糊和提高ToF深度相机的图像分辨率的有效方法。我们的算法直接从原始复杂图像求解潜在振幅和深度，并且每个使用单独的先验来恢复尖锐特征并减少飞行像素和噪声。我们表明，与之前的工作相比，我们的算法显着提高了模拟和真实数据集上的图像质量。与以前的方法不同，我们的方法从根本上不限于连续波ToF相机的余弦模型，这已被证明对于许多系统(例如[12])来说不准确。并应适应高频、多相或多次曝光ToF相机。

2015 First experiences with Kinect V2 sensor for Close Range 3D Modelling

考虑到晴天进行的采集质量，出现了两种现象：“飞行像素”的数量尤其在传感器视场的边缘增加，点数随着光强的增加而减小。“飞行像素”效果如图 8 所示。

图8。在晴天条件下获取的点云:(a)没有“飞行像素”的场景;(b)剖面视图中的场景(白色)和“飞行像素”(红色)

为了完成我们当前的工作，检查 Kinect v2 设备在小对象建模目的方面的潜力会很有趣。在这种情况下，已经捕获了石灰石片段的点云（大约 25 x 20 cm）。收购是在石头周围的不同观点下进行的。视觉结果看起来非常令人满意，如图 13 所示。现在需要注册对象的多个点云（八个不同位置的）以获得完整的 3D 点云。第一种方法将包括手动分割每个单独的点云，以消除在对象的边缘和边界处清晰可见的伪影（或飞行像素）。一旦产生该对象的最终网格，就可以进行准确性评估，这要归功于与其他成像技术获得的参考网格的比较。

2016 Comparison of Kinect V1 and V2 Depth Images in Terms of Accuracy and Precision，ACCV2016

Furthermore, we demonstrate errors like flying pixels and multipath interference.此外，我们展示了飞行像素和多径干扰等错误。

3.4 Flying Pixel

在本节中，我们分析了所谓的飞行像素；著名的飞行时间 (ToF) 相机伪影 [24]，因为所有 TToF 相机都存在这个问题。飞行像素是错误的深度估计，它发生在接近深度不连续的地方，如图7b所示，也发生在图像边界上。在这个实验中，我们彼此放置了两个板，距离约为 200 毫米。我们使用垂直于棋盘的 Kinect v1 和 Kinect v2 捕获场景。虽然两者之间不应该有几何形状，但Kinect v2捕获了几个3D点。这种效果在图1中也很明显，在我们的补充视频中更加明显。相比之下，Kinect v1 不包含任何飞行像素，这使得它更精确接近深度不连续性。

图7所示。为了显示飞行像素效应，我们记录了两个彼此靠近的板。Kinect v2 之间的错误像素是飞行像素。在我们的补充视频中，这种效果更加明显。

2018 ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems，ECCV 2018

2018 Pulse Based Time-of-Flight Range Sensing，Sensors 2018

深度不均匀性：在对象边界上，像素可能会观察到不均匀的深度值。对于AMCW-ToF相机，处理由不同深度反射的光引起的叠加信号，产生所谓的混合像素或飞行像素。不同信号的这种叠加会导致不正确的距离值。

请注意，飞行像素与更一般的问题直接相关，即多路径问题；见下文。

2018 Deep End-to-End Time-of-Flight Imaging，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition

the adversarial network generates much sharper depth maps with fewer "flying pixel" artifacts around depth edges. 对抗网络在深度边缘周围生成更清晰的深度图，“飞行像素”伪影更少。最后，通过跳跃连接、电视和对抗性组合，我们提出的网络在准确率、平滑度和处理速度之间取得了最佳平衡。

2019 Performance Analysis of the PMD Camboard Picoflexx Time-of-Flight Camera for Markerless Motion Capture Applications，IEEE Transactions on Instrumentation and Measurement 2019

Picoflexx 在估计 ERTRAG 应用程序考虑的测量体积中圆柱目标的高度方面优于 Kinect V2。令人惊讶的是，Kinect V2高照度在这方面被证明是一个缺点，并导致由于飞行像素而导致的错误。

2021 Evaluation of the Azure Kinect and Its Comparison to Kinect V1 and Kinect V2，Sensors 2021

4.7.多路径和Flying Pixel

官方在线文档中所述，Azure Kinect存在多径干扰。例如，在角落里，来自传感器的红外光被反射到另一个墙上。这导致无效像素。类似地，在物体的边缘，像素可以包含前景和背景的混合信号。这种现象被称为飞行像素问题。为了证明这一点，我们在墙前面放置了一个 4 毫米厚的板，并专注于在板边缘周围获得的数据。如图37和图38所示，位于板边缘的深度数据不准确地放置在实际对象之外。

标题

标题

2021  iToF2dToF: A Robust and Flexible Representation for Data-Driven Time-of-Flight Imaging，IEEE Transactions on Computational Imaging 2021 2区

性能指标:为了量化性能，我们使用百分位平均绝对误差(MAE)，类似于[2]，[21]。对于每个图像，深度误差从最低到最高排序，分为 4 个百分位组（0-75%、75-85%、85-95%、95-99%），MAE 在每个组内计算。这种分组允许理解高信噪比/低MPI(即0-75%百分位数)和低信噪比/高MPI(即85-99%百分位数)区域的性能。在计算合成数据上的百分位MAE时，我们用深度不连续(即飞行像素)掩盖边缘像素，因为地面真实深度是不可靠的。我们不考虑误差最大的像素，以避免未屏蔽飞行像素或无限射线像素产生的无效像素(可能出现在两个网格的交点处)。

2022 A Review of Indirect Time-of-Flight Technologi，IEEE Transactions on Electron Devices 2022

However, as the modulation frequency increases, it becomes harder to disambiguate between solutions: a side effect of these wrapped measurements is that mixed pixels and filtration can result in the formation of "flying pixels" [35] at object edges, which can produce both intermediate, also called "webbing" and observed in singlefrequency systems, and nonintermediate values or unwrapping errors with values very far from foreground or background.未知值 n 的存在意味着不可能在没有进一步信息或假设的情况下显示 0 m 处的测量值与 c/(2 f ) 处的测量值之间的差异，使得大距离的成像对象具有挑战性。由于时间径向距离标准差与调制频率成反比，σr∝1/f遵循(2)，简单地降低调制频率，使得n总是0是次优的。通过对不同调制频率进行多次测量，可以将展开相位求解为多频相位展开问题。该方案通过高平均调制频率保持精度，大大提高了模糊范围[28]。然而，随着调制频率的增加，解之间的歧义变得更加困难：这些包裹测量的副作用是混合像素和过滤可以导致在对象边缘形成“飞行像素”[35]，这可以产生中间，也称为“webbing”，并在单频系统中观察到，非中间值或展开值与远离前景或背景的值。

The SNR of a depth measurement, and thus phase noise, is inversely proportional to the signal level, producing a bigger error as the signal decreases [74], leading to worse range precision that ultimately manifests as noisy data, unwrapping errors, and flying pixels. 深度测量的信噪比，因此相位噪声，与信号水平成反比，随着信号的减小，产生更大的误差[74]，导致较差的距离精度，最终表现为噪声数据、展开误差和飞行像素。

图11所示。Microsoft专有实时多径缓解MP说明。(a) 黑白振幅图像。(b) 叠加未校正和校正的点云。(c) 未校正的点云。(d) 校正点云。1)无多径，则红点云和绿点云重叠;2)由于多径，标准产生更长的距离(红色)，校正主要减轻这种影响(绿色);3)圆角(红色)与90◦角(绿色);4)在校正(绿色)的情况下，咖啡杯的处理是一个分散的云(红色)和固体。

The handle of the coffee cup where many different types of multipath occur is properly rendered as a solid surface by the enhanced processing (green), whereas the standard processing (red) contains many flying pixels通过增强处理(绿色)正确地将许多不同类型的多径发生的咖啡杯的处理渲染为固体表面，而标准处理(红色)包含许多飞行像素

Crosstalk in CMOS pixels [122]–[125] is caused by two main mechanisms: optical crosstalk and photo-carrier diffusion (electrical crosstalk). These phenomena cause image blur and degrade the SNR; reducing image quality and increasing the number of "flying pixels" in areas of rapid depth changes such as at object edges. As mentioned in Section IV-C, DTI mitigates both optical and electrical crosstalks from a pixel perspective. In addition to the hardware modifications, image processing algorithms can be used to mitigate the blurring effects produced by crosstalk in large-signal gradients.CMOS 像素中的串扰 [122]-[125] 是由两种主要机制引起的：光学串扰和光载流子扩散（电串扰）。这些现象导致图像模糊，降低信噪比;降低图像质量，增加物体边缘等快速深度变化区域“飞行像素”的数量。如第IV-C节所述，DTI从像素的角度缓解了光串扰和电串扰。除了硬件修改之外，图像处理算法还可用于减轻大信号梯度串扰产生的模糊效果。

2024 A 134 × 132 4-Tap CMOS Indirect Time-of-Flight Range Imager Using In-Pixel Memory Array With 10 Kfps High-Speed Mode and High Precision Mode，IEEE JOURNAL OF SOLID-STATE CIRCUITS,2024

捕获的样本图像和环境设置如图13所示。最近的物体被放置在45厘米处，字母“U”位于2.55米处，背景面板前15厘米。虽然随着距离的增加，强度图显示出反射光的快速下降，但所提出的HP模式仍然提供了精细的深度分辨率和不同的“U”图像，而不需要帧平均。在物体周围边缘区域观察到的深度误差归因于空间采样问题[27]引起的“飞行像素”效应。

图13所示。在HCG/HP模式下捕获样本图像。

2024 Color-guided flying pixel correction in depth images，2024