基于faster-r-cnn行人检测和ResNet50+FPN的可见光红外图像多模态算法融合创新

获取项目源码点击文末名片

本项目分为三个模型，其中2个创新模型：基于双分支骨干网络（ResNet50+FPN）实现行人可见光红外图像多模态检测，分为特征融合策略和输入层融合策略。单模态目标检测采用fasterrcnn模型。
项目截图：

创新结果：
单模评估结果:
mAP@0.5: 0.9627
mAP@0.5:0.95: 0.5354
推理速度 (FPS): 34.14
计算量 (FLOPs): 133.92 G
输入层评估结果:
mAP@0.5: 0.9740
mAP@0.5:0.95: 0.6028
推理速度 (FPS): 34.02
计算量 (FLOPs): 135.43 G
特征层评估结果:
mAP@0.5: 0.9752
mAP@0.5:0.95: 0.6221
推理速度 (FPS): 29.61
计算量 (FLOPs): 147.28 G

基于双分支骨干网络（ResNet50+FPN）与特征融合策略的多模态目标检测框架

本技术文档深入探讨了基于双分支骨干网络（ResNet50+FPN）与特征融合策略的多模态目标检测框架的设计与实现。该框架针对不同模态（可见光与红外光）的输入，采用了先进的深度卷积神经网络（CNN）架构，并通过多模态特征融合技术优化了目标检测的性能。本框架的核心创新点在于通过 双分支骨干网络 和 加权求和特征融合 技术，解决了可见光与红外光图像特征的异质性问题，并有效提升了多模态目标检测的精度和鲁棒性。

1. 引言
   随着计算机视觉技术的不断发展，单一模态图像（如可见光图像）的目标检测模型已逐渐无法满足复杂环境下的需求。尤其是在低光照、夜间、恶劣天气等情形下，可见光图像的质量受到显著影响，导致传统目标检测方法性能显著下降。相比之下，红外光图像在低光照和恶劣天气条件下表现出更强的鲁棒性。因此，结合 可见光与红外光图像（即多模态图像）进行目标检测，已成为提升性能的关键。
   本框架的目标是设计一种基于 Faster R-CNN 的高效多模态目标检测网络，采用 双分支骨干网络（ResNet50+FPN）来处理不同模态的输入，并通过特征融合技术（包括加权求和）将各模态的优势互补，从而提高检测精度，尤其是在低光照或极端天气情况下。
2. 双分支骨干网络架构
   2.1 ResNet50+FPN骨干网络
   在现代目标检测任务中，深度卷积神经网络（CNN）已经成为特征提取的标准架构，而 ResNet（Residual Networks）通过引入残差连接解决了传统网络训练中的梯度消失问题，成为目标检测的主流骨干网络。在本框架中，我们选择 ResNet50 作为基础特征提取器。ResNet50通过50层深度的残差块，使得网络能够有效捕捉图像的高层次语义信息。
   FPN（Feature Pyramid Networks） 是一种高效的特征金字塔网络，用于生成多尺度的特征图。FPN在传统的ResNet架构上进行了增强，通过自顶向下的结构和横向连接来融合不同尺度的特征信息，从而提升网络对不同尺寸目标的检测能力。在本方案中，我们将ResNet50与FPN结合，以增强网络对多尺度物体的识别能力。
   2.2 双分支设计
   为了处理 可见光 与 红外光 两种模态的输入，本框架采用了 双分支骨干网络（双流网络架构）。每个分支的网络结构完全相同，都基于 ResNet50+FPN，但是它们分别接收不同的输入类型：

• 可见光分支：该分支接收标准的RGB可见光图像，作为通用的视觉输入。ResNet50通过其残差模块提取出丰富的局部特征和全局语义信息，FPN通过特征融合进一步增强多尺度物体的检测能力。
• 红外光分支：该分支处理来自红外光传感器的单通道灰度图像。由于ResNet50要求输入为三通道图像，因此我们使用 1x1 卷积 层将红外图像的单通道灰度图转化为三通道输入，从而能够有效输入到网络中。
  通过双分支结构，网络能够分别从两个模态的特征中提取信息，增强对目标的感知能力。

3. 特征融合策略
   3.1 加权求和融合
   在多模态任务中，直接将来自不同模态的特征图进行简单的拼接或相加常常无法充分利用两种模态的互补优势。为此，我们采用了 加权求和融合 技术，来对来自可见光和红外光分支的特征图进行加权组合。在这一过程中，网络为每一层的特征图分配一个可学习的权重系数，通过加权求和操作，将两个分支的特征图进行融合，从而在保持每个分支特征的同时，强调某一模态的优势。
   具体来说，每个特征图会通过 1x1 卷积 层映射到统一的通道数，然后通过加权求和操作融合两个模态的信息。权重系数在训练过程中动态学习，这使得网络能够根据当前的输入图像调整不同模态的重要性，确保在不同场景下能够灵活调整特征融合的策略。
   3.2 注意力机制融合（未来扩展）
   在未来的优化中，我们可以考虑引入 注意力机制 来进一步增强模态间的特征交互。通过自注意力（Self-Attention）或跨模态注意力（Cross-modal Attention），网络能够在融合过程中自适应地选择和强调重要的区域和特征，从而进一步提升融合效果。特别是在复杂环境下，不同模态可能包含不同的上下文信息，注意力机制能够帮助网络根据图像内容动态调整融合策略。
4. 网络训练与优化
   4.1 损失函数
   在目标检测任务中，网络的训练需要优化一系列损失函数。在本框架中，训练过程主要涉及以下几项损失：

• 分类损失：该损失用于计算网络对每个候选框的分类准确性。
• 边界框回归损失：该损失用于优化候选框的位置，使得网络能够准确地预测目标边界框的位置。
• RPN目标性损失：该损失用于评估RPN生成的候选框的质量，帮助网络过滤掉无关的候选区域。
• RPN边界框回归损失：该损失用于优化候选框的回归精度。
  4.2 优化策略
  本框架采用 SGD优化器，并结合 学习率调度器 进行动态调整。为了防止模型在训练过程中发生过拟合，采用了 权重衰减（L2正则化） 技术。此外，我们还实现了 批量归一化（Batch Normalization） 和 Dropout 等正则化方法，以增强模型的泛化能力。
  4.3 动态权重学习
  在特征融合阶段，除了固定的加权求和方法外，本框架还支持通过反向传播学习不同模态的融合权重。通过这种方式，网络能够根据训练过程中的不同样本动态调整可见光与红外光特征的融合策略，从而实现更为灵活且高效的目标检测。
  

基于输入层融合的双分支骨干网络（ResNet50+FPN）与多模态目标检测框架

摘要
随着深度学习技术在计算机视觉领域的迅速发展，多模态目标检测（Multimodal Object Detection）作为一种新兴的研究方向，已经成为改善图像理解和分析能力的关键技术之一。特别是在复杂环境下（如低光照、夜间、恶劣天气），红外图像因其特有的感知优势，已被广泛应用于目标检测任务。传统的单模态目标检测方法无法充分利用红外图像和可见光图像的互补性，而本研究提出了一种基于 双分支骨干网络（ResNet50 + FPN） 的输入层融合策略，通过在图像输入层直接融合可见光与红外图像特征，实现了对多模态数据的高效处理与目标检测。

1. 引言
   目标检测技术的进步依赖于高效的深度学习模型以及充分的多模态数据支持。随着多模态数据采集技术的发展，利用红外光图像和可见光图像的组合已成为提升目标检测精度的有效手段。尤其是在低光照环境下，红外图像比可见光图像更加鲁棒。为充分利用两者的互补性，本文提出了一种基于 输入层融合的双分支骨干网络（ResNet50 + FPN） 的多模态目标检测框架。
   该框架利用 ResNet50 作为图像特征提取的基础，并结合 FPN（Feature Pyramid Networks） 进行多尺度特征的融合，从而提高对复杂目标的检测能力。通过在输入层直接将红外图像与可见光图像进行融合，我们构建了一个高效的多模态目标检测模型。
2. 模型设计
   2.1 双分支骨干网络（Dual Backbone Architecture）
   本框架采用了双分支结构的骨干网络设计。每个分支负责处理不同模态的输入图像，其中一个分支处理 可见光图像，另一个分支处理 红外光图像。这两种图像分别通过 ResNet50 网络进行特征提取，且每个分支的输出特征经过 FPN 模块进行多尺度融合，最终将提取到的高级特征传递至目标检测网络。
   为了适应输入数据的不同，网络的输入层需要对两种模态的图像进行特定处理。红外图像的通道数通常为单通道，但为了与可见光图像（RGB格式）兼容，红外图像需要进行 通道转换，将其从单通道转换为三通道（RGB格式）。这种转换确保了可见光图像和红外图像可以在输入层进行 拼接操作，形成一个六通道的图像输入。
   2.2 输入层融合策略
   在多模态目标检测任务中，数据融合的策略是决定模型性能的关键因素之一。传统的方法通常在网络的深层融合多模态特征，而本文提出的创新之处在于，在 输入层直接进行图像的通道拼接，将两种模态的信息在网络的最初阶段就进行融合。这一策略能够确保网络在从图像中提取特征时，能够直接利用两种模态的互补信息，从而提升模型在复杂环境中的表现。
   具体来说，可见光图像和红外图像被先进行预处理，通过通道拼接将两者合并成一个6通道图像。这一输入图像被送入网络的 ResNet50 + FPN骨干网络，该骨干网络的设计能够充分提取多尺度、多层次的特征信息，从而提高检测精度。
   2.3 定制化目标检测网络（Dual Backbone Faster R-CNN）
   基于上述双分支骨干网络的特征提取能力，本框架进一步结合了 Faster R-CNN 网络结构，构建了一个定制化的目标检测模型。Faster R-CNN 在区域提案网络（RPN）基础上引入了精细的边界框回归和分类策略，广泛应用于目标检测任务。
   本框架的核心改进体现在将可见光与红外光图像在输入层进行融合后，利用双分支骨干网络提取到的特征对目标进行检测。通过将多模态信息直接传递给目标检测网络，可以更精确地进行物体定位与分类，尤其是在复杂背景或低光照环境下，红外光图像的引入显著提升了检测效果。
3. 数据集与数据加载
   3.1 数据集设计
   为了验证所提出的框架，我们选择了具有可见光和红外光图像对的数据集，称为 LLVIP 数据集。该数据集包含了具有标注信息的可见光图像和红外光图像，能够为多模态目标检测提供充分的数据支持。在数据加载过程中，我们不仅要加载可见光图像和红外光图像，还需要解析每个图像对应的标注信息，以进行目标定位和分类。
   3.2 数据预处理与变换
   由于可见光图像和红外光图像的通道数不同，在输入网络之前，需要对两种图像进行必要的预处理。具体来说，红外图像会被转换为三通道图像，以保证其与可见光图像具有相同的维度。图像的预处理还包括标准化操作，通过减去每个通道的均值并除以标准差，使图像数据符合网络训练的需求。此外，为了提高模型的鲁棒性，数据增强（如翻转、裁剪、缩放等）也在数据预处理过程中进行。
   3.3 数据加载与批量化
   在数据加载和批量化过程中，使用了自定义的数据集类和数据加载器。数据加载器将图像和对应的目标标注封装为批次，并在每次训练中提供输入图像与标签对。这样可以保证训练过程中每个 batch 的数据都经过了预处理和数据增强，同时维持了数据加载的高效性。
4. 模型训练
   4.1 损失函数与优化
   模型训练过程中，我们使用了 Faster R-CNN 中常见的损失函数，包括：

• 分类损失：用于计算预测的类别与真实类别之间的交叉熵误差。
• 边界框回归损失：用于计算预测边界框与真实边界框之间的位置差异。
• 区域提案网络（RPN）损失：用于优化生成的候选框的质量。
  训练过程采用 随机梯度下降（SGD） 优化器，结合 学习率调度器 来动态调整学习率，避免过拟合并加速收敛。
  4.2 训练策略与评估
  在训练过程中，采用多阶段的训练策略：

1. 预训练阶段：首先使用预训练的 ResNet50 网络进行特征提取，初始化骨干网络参数。
2. 目标检测训练：接下来，将所有网络层联合训练，通过优化目标检测任务的损失函数来更新网络参数。
   每个训练 epoch 完成后，记录各类损失（分类损失、边界框回归损失、RPN损失），并进行评估，以验证模型在验证集上的表现。训练过程中，可以通过 学习率调度 来动态调整优化器的学习率，从而避免过早地陷入局部最优。
   

基于FasterRCNN单模态目标检测框架
本实验旨在使用Faster R-CNN模型进行目标检测任务，主要识别person类别的目标。数据集采用LLVIP中的可见光图像，并基于COCO指标进行评估。实验涵盖数据准备、模型训练、性能评估等步骤，最终输出模型的检测性能和推理效率。

1. 数据准备
   数据来源:

• 标注文件（XML格式）：存放在LLVIP/Annotations目录下。
• 可见光图像（JPEG格式）：存放在LLVIP/visible/train目录下。
  数据处理步骤:

1. 数据读取: 通过自定义LLVIPDataset类读取标注和图像数据。
2. 标注解析: 解析XML文件提取目标的边界框（Bounding Box）和类别标签（仅person）。
3. 数据清洗: 过滤无效边界框（如宽度或高度小于等于0的框）。
4. 图像预处理: 图像转换为张量格式（Tensor），并规范化到与ImageNet一致的均值和标准差。
5. 模型设计
   主模型:

• 采用Faster R-CNN架构，搭载ResNet50作为主干网络，并结合Feature Pyramid Network (FPN)增强特征提取能力。
  模型配置:
• 预训练权重：使用ImageNet预训练的ResNet50。
• 类别数量：2（person和背景background）。
• 图像标准化参数：mean = [0.485, 0.456, 0.406], std = [0.229, 0.224, 0.225]。

6. 模型训练
   训练配置:

• 优化器: 随机梯度下降（SGD），学习率0.005，动量0.9，权重衰减0.0005。
• 学习率调度器: 每3个epoch后，学习率衰减0.1倍。
• 批量大小: 2。
• 训练轮次: 30轮。
  损失函数:
• 分类损失（loss_classifier）: 监督目标类别的正确分类。
• 边界框回归损失（loss_box_reg）: 调整预测框与真实框的重叠程度。
• 目标检测损失（loss_objectness）: 评估候选区域是否包含目标。
• 区域建议网络（RPN）框回归损失（loss_rpn_box_reg）: 提高候选框的质量。
  损失曲线可视化:
  训练过程中，记录并绘制每个epoch的损失变化趋势，生成单模实验loss曲线图.png，用于评估模型收敛情况。

7. 模型评估
   评估指标:
8. COCO mAP（Mean Average Precision）:

• mAP@0.5: IoU阈值为0.5时的平均精度。
• mAP@0.5:0.95: IoU阈值从0.5到0.95（步长0.05）的平均精度。

2. 推理速度（FPS）:

• 测量模型在单张[3, 640, 640]图像上的帧率（Frames Per Second）。

3. 计算复杂度（FLOPs）:

• 计算模型在[3, 640, 640]输入尺寸下的浮点运算次数（FLOPs）。
  评估步骤:

1. 数据转换: 将标注数据转换为COCO格式，便于使用pycocotools进行评估。
2. 推理速度测试: 通过多次前向推理计算平均FPS。
3. FLOPs计算: 使用thop库测量模型计算复杂度。
4. mAP计算: 通过模型预测结果与真实标注进行比对，计算不同IoU阈值下的mAP。
   评估结果保存: 最终评估结果会保存在单模实验评估结果.txt文件中，内容包括：

• mAP@0.5 和 mAP@0.5:0.95
• 推理速度（FPS）
• 计算量（FLOPs）