当前位置：首页 > news >正文

文献阅读篇#7：5月一区好文阅读，BFA-YOLO，用于建筑信息建模！（下）

news 来源：原创 2025/5/3 7:14:22

期刊简介：《Advanced Engineering Informatics》创刊于2002年，由Elsevier Ltd出版商出版，出版周期Quarterly。该刊已被SCIE数据库收录，在中科院最新升级版分区表中，该刊分区信息为大类学科工程技术1区，2023年影响因子为8。这篇文章收录于五月份，是一篇最近发表的文章，让我们一起看看它有何过人之处，能得到一区期刊的赏识。

文章标题：BFA-YOLO: A balanced multiscale object detection network for building façade elements detection

（翻译）BFA-YOLO：用于建筑立面元素检测的平衡多尺度目标检测网络

第1-4章节的内容和解读见一下两篇文章：

文献阅读篇#5：5月一区好文阅读，BFA-YOLO，用于建筑信息建模！（上）-CSDN博客

文献阅读篇#6：5月一区好文阅读，BFA-YOLO，用于建筑信息建模！（中）-CSDN博客

五、分析

5.1 对比实验分析

我们将结果与Faster R-CNN，TridentNet，Tood，Cascade R-CNN，RT-DETR，YOLOv 5和YOLOv 8进行比较。参考表3，BFA-YOLO模型在BFA-3D测试集上实现了86.4%的AP 50，67.9%的AP 75和62.3%的AP 50 ∶95，在所比较的网络模型中性能最高，在AP、AP、AP方面也取得了比较模型中最好的成绩𝑠𝑚𝑎𝑙𝑙𝑚𝑒𝑑𝑖𝑢𝑚𝑙𝑎𝑟𝑔𝑒，分别为4.1%、3.8%、图8为BFA-YOLO和YOLOv 8在BFA-3D测试集上的检测对比结果。图9为上述网络模型在BFA-3D数据集中所有建筑立面元素类别上的AP 50的查准率-查全率曲线。（介绍对比实验结果）

图8. BFA-3D测试集上BFA-YOLO和YOLOv8检测结果的视觉比较。（a）表示待检测图像。（B）说明了标签可视化。（c）显示了YOLOv8检测结果，（e）显示了BFA-YOLO检测结果。（d）和（f）是检测结果的局部放大图。图像下方是建筑立面元素的标记说明。（直观对比BFA-YOLO和YOLOv8）

在场景1中，BFA-YOLO比YOLOv 8检测到更多具有高背景相似性的门。在场景2中，BFA-YOLO比YOLOv 8识别出更多的小尺寸窗户，YOLOv 8在检测小尺寸窗户时表现出明显的遗漏。此外，在场景3中，BFA-YOLO在检测空调单元方面明显优于YOLOv 8。（描述图8）

我们使用BFA-3D测试集进行了实验，以全面比较BFA-YOLO和各种模型在不同分类中的性能。如表4所示，在每个类别中与YOLOv 8的详细比较中，BFA-YOLO在门（Door），嵌入式窗户（EM_Win），突出窗户（PR_Win），广告牌（Bil），与YOLOv 8相比，BFA-YOLO提高了门（Door）、嵌入式窗户（EM_Win）、凸出式窗户（PR_Win）、阳台（Bal）、空调机组（ACU）、广告牌（Bil）、和玻璃幕墙（Gla_Wal）分别提高了1.5%，1.4%，0.2%，1.5%，0.7%，1.7%和2.8%。与最先进的模型，如Faster R-CNN，TridentNet，Tood，Cascade R-CNN，RT-DETR和YOLOv 5相比，我们的方法表现出相当大的改进。（描述表4，对每一类的检测效果对比）

我们在Façade-WHU测试集上进行了实验，详细比较了BFA-YOLO和不同模型在检测每个分类时的准确性。如表6所示，BFA-YOLO在门窗检测中表现出最佳的准确性。（Façade-WHU数据集上迁移实验，每种类别）

我们在Façade-WHU数据集上进行了实验，结果如表5所示，其中我们提出的BFA-YOLO模型达到了AP 50的54.7%，AP 75的47.1%和AP 50 ∶95的42.2%，代表了所比较的网络模型中的最高性能。它也达到了AP，AP和AP的最佳结果𝑠𝑚𝑎𝑙𝑙𝑚𝑒𝑑𝑖𝑢𝑚𝑙𝑎𝑟𝑔𝑒，与YOLOv8相比分别提高了2.6%，6.9%和1.7%。（Façade-WHU数据集上迁移实验，总的效果）

图10显示了BFA-YOLO与YOLOv8在Façade-WHU测试集上的对比检测结果。（d）和（f）列分别显示了YOLOv8和BFA-YOLO的放大图像。具体而言，在比较（d）和（f）列时，BFA-YOLO对小尺寸窗口的检测明显优于YOLOv8。（在Façade-WHU测试集上的直观对比）

5.2 消融研究分析

为了全面评估我们提出的模块在解决类别不平衡，小物体检测挑战和背景干扰方面的有效性，这些都是建筑立面元素检测的关键挑战，我们精心设计并执行了详尽的消融研究。该研究侧重于三个核心部分：FBSM，TDATH和PMESA。通过系统地整合这些模块单独和结合基线模型，我们彻底分析了他们的个人和协同效应。（总起）

如表7所示，基线模型被设置为YOLOv8，没有任何上述增强模块。随后，我们构建了七个变体模型（M1至M7），每个变体模型单独或联合集成了上述三个关键模块，以探索它们对检测性能的具体影响。（对每种组合进行编号，适用于双栏论文中）

表8显示了与基线相比，包括FBSM模块的设置的实验结果。对于模型M1、M4、M5和M7，集成FBSM模块显著改善了门、阳台和玻璃幕墙的检测，这些研究结果表明，在识别更少的类别的FBSM的准确性大幅增加，强调其在解决建筑物立面内的目标类别的不平衡计数的挑战的效率。（有FBSM的实验组M1、M4、M5和M7对各类别的检测效果）

表9列出了基于TDATH模块设置的实验结果与基线的比较。值得注意的是，在使用TDATH的实验中，M2、M4、M6和M7模型在针对AP目标较小尺寸对象的检测度量方面优于基线。这些发现表明TDATH检测较小目标的能力显著提高𝑚𝑒𝑑𝑖𝑢𝑚，强调该模块在应对检测建筑物立面上的小尺寸组件的挑战方面的有效性。（有TDATH的实验组M2、M4、M6和M7的总体检测效果）

表10给出了基于PMESA的配置与基线相比获得的实验结果。值得注意的是，在使用PMESA的实验期间，模型M3、M5、M6和M7在度量AP𝑠𝑚𝑎𝑙𝑙、AP𝑚𝑒𝑑𝑖𝑢𝑚、AP𝑙𝑎𝑟𝑔𝑒、AP 50、AP 75和AP 50 ∶95上表现出优于基线的上级性能。这些结果表明，PMESA显著提高了建筑物立面元素识别背景下目标检测的准确性。从而强调PMESA模块在减轻立面组件中的背景干扰检测的挑战方面的有效性。（有PMESA的实验组M3、M5、M6和M7的总体检测效果）

解析：结构十分清楚，表格设置也比较合理。对比试验分别对比BFA-YOLO在两个数据集中的优越性说明改进的成功；制作了两张直观对比图，非常清晰。但是似乎并非检测后自动生成的图片，并没有置信度数值和分类，可能是为了能够清晰化展示而去除了。消融实验中通过三个结果数据表说明了每个模块的贡献。

六、讨论

为了更直观地展示模型的检测能力，本研究利用基于HiResCAM的热图可视化[64]。这种方法说明了我们的创新解决方案在检测建筑立面元素方面的有效性。我们还提供了模型有效感受野的视觉表示[65]，有助于对我们模型的上级性能进行详细和深入的评估。此外，为了说明我们对立面元素分布不均匀，难以检测小物体和背景噪音等挑战的有效应对，我们全面详细介绍了本研究在单类别分析，AP𝑠𝑚𝑎𝑙𝑙分析和TIDE错误评估方法方面的贡献[66]。BFA-YOLO和YOLOv 8之间的检测比较结果以及检测热图如图11所示。（热力图对比实验结果）

从模型检测效果来看，BFA-YOLO模型的检测性能较YOLOv8有明显提升。这主要归功于本文设计的专门针对建筑立面构件检测任务的模块，这些模块的引入不仅提高了模型的检测精度，而且增强了模型处理复杂场景和物体的能力。场景1中（c）列的门和玻璃幕墙检测结果存在重复检测的问题，而（e）列中的相同区域显示了BFA-YOLO更准确的检测结果，（c）列中的场景2对空调机组和小尺寸窗户的漏检更多，而（e）列中的相同区域显示了更全面的结果。场景3和场景4中窗口的检测结果在（e）列中比在（c）列中更好。在低亮度的场景5中，在（c）列中有遗漏的广告牌，但在（e）列中BFA-YOLO能够正确检测广告牌。（对热力图对比的描述）

我们仔细研究了YOLOv8和BFA-YOLO模型的有效感受野，以探索和理解网络的结构属性。结果如图12所示。我们提出的BFA-YOLO方法在有效感受野方面优于YOLOv 8。具体来说，图12（B）中描绘的感受野面积比图12（a）中描绘的更宽，特别是沿着沿着，其中BFA-YOLO表现出比YOLOv 8更宽的检测范围。图（d）也具有比图12（c）更大的有效感受野面积，从而证实了BFA-YOLO的增强性能。（对图12感受野的详细描述）

在BFA-3D和Façade-WHU数据集上进行的TIDE实验的结果如图13所示。如图13的子图（a）所示，与基线模型相比，集成PMESA降低了背景（Bkg）干扰误差。虽然PMESA有效地解决了背景干扰问题，它同时增加了重复检测误差（DSNR）。BFA-YOLO的整体性能是最佳的，虽然YOLOv 8在Doppler中表现出最好的性能，但在Bkg，Cla，Loc中表现较差，关于Loc和C &L错误检测性能，没有一个实验表现得特别好，这可以归因于建筑物立面元素检测任务场景中的密集和大量的元素目标。如图13的子图（B）所示，与Façade-WHU数据集上的TIDE实验相关的误差测试度量没有显著变化。这可能是由于Façade-WHU数据集包含低分辨率的图像，建筑物立面元素目标密度不足，街景下图像受其他建筑物干扰较小，但结果表明BFA-YOLO的整体错误检测也很小。（对图13 TIDE实验的详细描述）

我们在BFA-3D和Façade-WHU数据集上研究了BFA-YOLO的检测失败。如图14所示，在树木遮挡的情况下以及与背景相似度非常高的窗口检测中存在检测失败。这表明需要在未来的工作中更多地关注解决这些挑战。

（图14. BFA-3D和Facade-WHU数据集上BFA-YOLO检测失败的示例。（a）表示要检测的图像。（B）是标签的可视化。（d）显示BFA-YOLO检测结果。（c）和（e）是局部放大。）

为了便于在建筑信息建模（BIM）和三维建筑模型的重建和恢复中的应用，BFA-YOLO的检测边界框可以作为SAM的先验输入图15示出了通过使用BFA-YOLO的检测边界框作为SAM的先验输入而获得的语义分割结果的示例，与不使用BFA-YOLO检测边界框作为SAM的先验输入所获得的结果相比。结果表明，BFA-YOLO检测框的存在为语义分割结果提供了先验，从而导致更准确的分割结果。这一过程为后续下游应用提供了一种潜在的信息采集方法，同时也有助于分析建筑立面信息。（拓展：语义分割的实验）

解析：这个章节虽然作者设置为讨论，但实际上还是实验。做了热力图、感受野、TIDE、失败案例、语义分割总共五个实验、绘图和分析，工作量巨大。这些内容一部分很可能是审稿人的意见和要求。给我们写作论文丰富文章内容和工作量提供了思路。

七、结论

本文提出了一种创新的建筑立面元素目标检测方法BFA-YOLO，该方法在YOLOv8的基础上进行了显著改进，实现了更准确的建筑立面元素目标检测。通过一系列实验分析，验证了BFA-YOLO在目标检测方面的优异性能。首先，BFA-YOLO引入了FBSM，其有效地解决了建筑立面元件上的物体数量不均匀的挑战。其次，我们引入了TDATH算法，该算法有效地解决了小目标检测问题，显著提高了小目标的检测精度;此外，我们引入了PMESA算法，该算法有效地减少了背景的干扰，进一步提高了检测精度，在定量评价中，AP 50提高了1.8%，与𝑠𝑚𝑎𝑙𝑙YOLOv 8相比，BFA-YOLO算法在建筑物立面元素检测方面的性能提高了1.6%，AP 50 ∶95提高了3.3%，AP提高了4.1%，在具有街景视角的Facçade-WHU数据集上的性能也有所提高，充分体现了BFA-YOLO算法在建筑物立面元素检测方面的优势。（总结）

与其他现有模型相比，BFA-YOLO也显示出显著的性能优势。但是，BFA-YOLO在检测被遮挡的建筑物立面元素以及与建筑物立面本身纹理非常相似的立面元素的目标方面仍存在挑战。在未来，我们将探讨后对最终的处理结果结合建筑立面的整体结构布局元素以及被遮挡的疑似建筑立面元素进行处理这些挑战。为支持本研究，我们构建了包含7个类别的建筑立面元素数据集，为模型训练和测试提供了丰富的样本，随着建筑立面元素目标检测领域自动化和智能化的发展趋势，BFA-YOLO的提出为实现这一目标提供了强有力的支持。（不足之处和未来工作）

今后，我们将在以下几个方面进行优化：继续增加数据集数量，探索更全面、更细致的分类体系，丰富博鳌亚洲论坛的数据量-3D数据集，提高数据完整性。我们亦会探索更有效的方法，以提高建筑物立面元素侦测的效能，以满足实际应用对高准确度及高效率的需求。此外，我们也在研究BFA-YOLO在实际应用中的潜力，我们将BFAYOLO应用于3D模型中，以侦测建筑物立面元素，并取得这些物件在3D模型中的位置信息，以支援后续的应用。（未来工作）