【论文阅读 | TCSVT 2025 | CFMW：面向恶劣天气下鲁棒目标检测的跨模态融合Mamba模型】

题目：CFMW: Cross-modality Fusion Mamba for Robust
Object Detection under Adverse Weather

期刊：IEEE Transactions on Circuits and Systems for Video Technology（TCSVT）

论文：paper

代码：code

年份：2025

1&&2. 摘要&&引言

可见光-红外图像对提供了互补信息，增强了目标检测应用在真实场景中的可靠性和鲁棒性。然而，大多数现有方法在复杂天气条件下保持鲁棒性方面面临挑战，这限制了它们的适用性。

同时，模态融合中对注意力机制的依赖引入了显著的计算复杂度和存储开销，尤其是在处理高分辨率图像时。

为了应对这些挑战，我们提出了带有天气去除的跨模态融合 Mamba
Cross-modality Fusion Mamba with Weather-removal-CFMW，以增强在恶劣天气条件下的稳定性和成本效益。利用提出的扰动自适应扩散模型（Perturbation-Adaptive Diffusion Model, PADM）和跨模态融合 Mamba（Cross-modality Fusion Mamba, CFM）模块，CFMW 能够重建受恶劣天气影响的视觉特征，丰富图像细节的表示。

通过高效的架构设计，CFMW 比 Transformer 风格的融合（例如 CFT）快 3 倍。

​​图1：​​ 在恶劣天气条件下，CFMW 能够实现比 CFT[1] 更好的跨模态目标检测效果。倒三角表示漏检目标（False Negatives, FNs）。

为了弥补相关数据集的不足，我们构建了一个新的恶劣天气可见光-红外（Severe Weather Visible-Infrared, SWVI）数据集，涵盖了雨、雾、雪等多种恶劣天气场景。该数据集包含 64,281 对配准的可见光-红外图像，为未来的研究提供了宝贵的资源。

在公共数据集（即 M3FD 和 LLVIP）和新构建的 SWVI 数据集上进行的大量实验最终证明，CFMW 实现了最先进的检测性能。

这项工作的主要贡献总结如下：

• ​​我们引入了一个专注于恶劣天气条件下可见光-红外目标检测的新任务​​，并开发了一个名为恶劣天气可见光-红外数据集（SWVI）的新数据集，该数据集模拟了真实世界条件。SWVI 包含 64,281 对可见光-红外图像和标签，涵盖雨、雾、雪等天气条件。

• 我们提出了一种新方法，带天气去除的跨模态融合 Mamba（CFMW）​​，用于恶劣天气下的可见光-红外目标检测。

• ​​我们引入了新颖的扰动自适应扩散模型（PADM）和跨模态融合 Mamba（CFM）模块​​，以同时解决图像去天气化和可见光-红外目标检测任务。

• 大量实验证明提出的 CFMW 在多个数据集上实现了最先进的性能。​

3.方法

3.1 概述

为了实现高效的目标检测，我们构建了一个名为 CFMW 的框架，如图 2 所示。
整个框架由四个部分组成：PADM 模块、YOLO 网络主干、CFM 块和检测头。
具体来说，CFM 模块实现了高效的跨模态特征融合，而 PADM 增强了框架在恶劣天气条件下的鲁棒性。

图2：跨模态融合Mamba模型框架
CFMW的核心流程主要由作为主干的YOLO检测网络、一个PADM模块和三个CFM模块组成。注意，L表示逐元素相加，N表示逐元素相乘。在PADM模块中，$x$ 表示加噪图像，$x_e$ 表示带条件的受天气影响图像，$x_t$ 表示第 $t$ 次扩散步骤中的加噪图像（此处 $t\in [0,T]$）。如图左下部分所示，PADM模型在推理过程中总共执行 $T$ 步去噪过程，以恢复不受恶劣天气条件影响的原始图像特征。在CFM和CFSSM模块中，$F_{R_i}$ 和 $F_{T_i}$ 分别表示从主干网络第 $i$ 层提取的RGB和热红外模态图像特征；${\overline{F}}_{R_i}$ 和 ${\overline{F}}_{T_i}$ 表示经CFM模块处理的特征；$F_{R_i}^{\prime }$ 和 $F_{T_i}^{\prime }$ 表示经CFSSM模块处理的特征。

3.2 扰动自适应扩散模型 (Perturbation-Adaptive Diffusion Model)

去噪扩散模型[51],[52]是一类生成模型，它学习一个马尔可夫链，该链逐步将高斯噪声分布转换为模型训练的数据分布。原始的去噪扩散概率模型（DDPMs）[52]的扩散过程（数据到噪声）和生成过程（噪声到数据）都基于马尔可夫链过程，导致步骤数量大且耗时巨大。因此，提出了去噪扩散隐式模型（DDIMs）[53]来加速采样，提供了一类更高效的非马尔可夫迭代隐式概率模型。DDIMs 通过一类非马尔可夫扩散过程定义生成过程，该过程导致与 DDPMs 相同的训练目标，但可以产生确定性的生成过程，从而加速样本生成。在 DDIMs 中，隐式采样指的是以确定性方式从模型的潜在空间生成样本。我们可以通过数学归纳法证明对于所有 t：

$$q_{\lambda }(X_{t-1}|X_t,X_0)=\mathcal{N}(X_{t-1};{\tilde{\mu }}_t(X_t,X_0),{\beta }_{t}I),$$
$${\tilde{\mu }}_t=\sqrt{{\bar{\alpha }}_{t-1}}{X}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\beta }_t}\cdot {ϵ}_t,(2)$$
$$\begin{array}{r}{X}_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\cdot (\frac{X_t-\sqrt{1-{\bar{\alpha }}_t}\cdot {ϵ}_{\theta }(X_t,t)}{\sqrt{{\bar{\alpha }}_t}})\\ +\sqrt{1-{\alpha }_{t-1}^{-}}\cdot {ϵ}_{\theta }(X_t,t),\end{array}(3)$$

其中 $X_t$ 和 $X_{t-1}$ 表示不同扩散时间步的数据 $X_0\sim q\left(X_0\right)$，${\alpha }_t=1-{\beta }_t,{\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$，${ϵ}_{\theta }\left(X_t,t\right)$ 可以通过以下方式优化：

$$E_{X_0,t},{ϵ}_t\sim \mathcal{N}(0,I),[\Vert {ϵ}_t-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{X}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t,t{\Vert }^2].(4)$$

条件扩散模型在图像条件数据合成和编辑能力方面已展现出最先进的性能[46],[50],[54]。其核心思想是在不改变扩散过程的情况下学习一个条件逆过程。我们提出的 PADM 是一个条件扩散模型，在采样过程中添加参考图像（清晰图像）以引导重建图像与参考图像相似。

图3：条件扩散模型前向扩散与反向去噪过程概览
注：L表示逐元素相加操作；$x_t$表示第$t$步扩散过程中的加噪图像（此处$t\in [0,T]$）；$x_e$表示带条件的受天气影响图像；${\tau }_{\theta }$表示扩散步骤的原始表示。

具体来说，如图 3 所示，我们引入了一个新参数 $\tilde{X}$，它表示受天气影响的观测图像。定义了一个马尔可夫链作为扩散过程，逐步添加高斯噪声以模拟数据样本的逐渐退化，直到达到时间点 T。我们通过基于 WideResNet[55] 的 U-Net 架构来设定模型超参数。对于输入图像的条件反射，我们将图像块 $X_T$ 和 $\tilde{X}$ 连接起来，获得六维输入图像通道。将逆过程条件化于 $\tilde{x}$ 可以保持其与隐式采样的兼容性，因此我们可以将方程(3)扩展为：

$$\begin{array}{r}{X}_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\cdot (\frac{X_t-\sqrt{1-{\bar{\alpha }}_t}\cdot {ϵ}_{\theta }(X_t,\tilde{X},t)}{\sqrt{{\bar{\alpha }}_t}})\\ +\sqrt{1-{\alpha }_{t-1}}\cdot {ϵ}_{\theta }(X_t,\tilde{X},t).\end{array}(5)$$

采样过程从 $X_T\sim \mathcal{N}(0,I)$ 开始，沿着一个确定性的逆路径朝向 $X_0$ 进行，并保持保真度。

3.3 跨模态融合 Mamba (Cross-modality Fusion Mamba)

最直接的方式是利用拼接（concatenation）、逐元素相加（element-wise addition）、逐元素平均/最大值（element-wise average/maximum）和逐元素叉积（element-wise cross product）来直接合并可见光和红外模态的特征图。

Fang 等人[1]提出了一种基于 Transformer 的方案来融合多光谱图像的内模态和跨模态信息。然而，由于多头注意力机制引入的高计算开销，这种模态融合方法不太适合高分辨率场景。先进的状态空间模型（SSM），或称 Mamba[18]，在处理长序列时比 Transformer 风格的方法更高效、更快，这得益于其线性复杂度和硬件适应性。

因此，我们设计了 CFM 模块，目标是利用 Mamba 的线性计算复杂度来更高效地处理高分辨率检测任务。CFM 模块的细节如图 3 所示。

以下是所提出的 CFM 的更多细节。如引言部分所述，RGB 模态和热红外模态在不同的光照和天气条件下表现出不同的特征，这些特征是互补且冗余的。因此，我们旨在设计一个模块来抑制冗余特征并融合互补信息，以高效地获取恶劣天气条件下目标检测所需的关键跨模态线索。受交叉注意力（Cross-Attention）[56]概念的启发，我们引入了一个新的跨模态 Mamba 块来融合来自不同模态的特征。

如图 2 所示，为了促进 RGB 和热红外模态之间的特征交互，我们首先使用一个浅层交换块（shallow swapping block），它整合了来自不同通道的信息并增强了跨模态相关性。给定 RGB 特征 $F_{R_i}\in R^{B\times N\times C}$ 和热红外特征 $F_{T_i}\in R^{B\times N\times C}$，$F_{R_i}$ 的前半部分通道（$F_{R_i}^{\text{front}}$）将与 $F_{T_i}$ 的后半部分通道（$F_{T_i}^{\text{back}}$）拼接。获得的特征被加到 $F_{R_i}$ 上，创建一个新特征 ${\overline{F}}_{R_i}\in R^{B\times N\times C}$。同时，$F_{T_i}$ 的前半部分通道（$F_{T_i}^{\text{front}}$）与 $F_{R_i}$ 的后半部分通道（$F_{R_i}^{\text{back}}$）拼接。获得的特征被加到 $F_{T_i}$ 上，创建一个新特征 ${\overline{F}}_{T_i}\in R^{B\times N\times C}$。这个过程可以用以下公式表示：

$$\begin{array}{rl}{F}_{R_i^{\text{front}}}& =F_{R_i}[:,:,:C/2],\\ F_{T_i}^{\text{back}}& =F_{T_i}[:,:,C/2:];\end{array}(11)$$
$$\begin{array}{rl}& {\overline{F}}_{R_i}=\mathrm{Concat}\left(F_{R_i}^{\text{front}},F_{T_i}^{\text{back}}\right),\\ & {\overline{F}}_{T_i}=\mathrm{Concat}\left(F_{T_i}^{\text{front}},F_{R_i}^{\text{back}}\right).\end{array}(12)$$

随后，在特征融合过程中，我们将特征 ${\overline{F}}_{R_i}$ 和 ${\overline{F}}_{T_i}$ 投影到共享空间，使用门控机制来鼓励互补特征学习，同时抑制冗余特征。如图 2 所示，我们首先使用 Norm 块对 ${\overline{F}}_{R_i}$ 和 ${\overline{F}}_{T_i}$ 中的每个标记序列进行归一化，这有助于提高模型的收敛速度和性能。然后，我们通过一个 3 层 MLP 投影输入序列，并应用 SiLU 作为激活函数。之后，我们应用 VMamba[36] 提出的 2D-Selective-Scan 方法：

$$\begin{array}{rl}{y}_R& =SS2D({\bar{F}}_{R_i}),\\ y_T& =SS2D({\bar{F}}_{T_i}).\end{array}(13)$$

然后我们应用门控操作，接着是一个残差连接。

$$\begin{array}{rl}{Z}_T& =MLP({\bar{F}}_{T_i}),\\ Z_R& =MLP({\bar{F}}_{R_i});\end{array}(14)$$
$$\begin{array}{rl}& y_R{}^{\prime }=y_R\odot SiLU(Z_R),\\ & y_T{}^{\prime }=y_T\odot SiLU(Z_T);\end{array}(15)$$
$$\begin{array}{rl}{\hat{F}}_{T_i}& =MLP(y_R{}^{\prime }+y_T{}^{\prime })+{\bar{F}}_{R_i}),\\ {\hat{F}}_{R_i}& =MLP(y_R{}^{\prime }+y_T{}^{\prime })+{\bar{F}}_{T_i}).\end{array}(16)$$
$$\begin{array}{rl}& F_{T_i}^{\prime }={\overline{F}}_{T_i}+{\hat{F}}_{T_i},\\ & F_{R_i}^{\prime }={\overline{F}}_{R_i}+{\hat{F}}_{R_i},\end{array}(17)$$

其中 $\odot$ 表示逐元素乘法。

图4：YOLO主干网络与CFM模块细节
注：L表示逐元素相加操作；$F_{R_i}$ 和 $F_{T_i}$ 分别表示从主干网络第 $i$ 层提取的RGB模态和热红外模态图像特征。图中橙色与蓝色连接线分别代表RGB和热红外图像的特征流，紫色线表示双模态拼接后的融合特征。

如图 4 所示，经过多层卷积后，跨模态特征通过 CFM 在三个不同维度进行融合，最终输入检测头。这些融合的特征既包含低维特征也包含高维特征，能够感知整体场景信息。

$$\begin{array}{rl}& F_{T_i}=F_{T_i}+F_{T_i}^{\prime },\\ & F_{R_i}=F_{R_i}+F_{R_i}^{\prime },\end{array}(18)$$

其中 $i\in 2,3,4$。

与 CFT[1] 不同，我们的融合块在继承全局感受野和动态权重组件的同时，提高了计算效率。将我们 CFM 块中的状态空间模型（SSM）与 CFT[1] 中 Transformer 的自注意力机制进行比较，两者在自适应提供全局上下文方面都扮演着重要角色，但自注意力与序列长度呈二次方关系，而 SSM 与序列长度呈线性关系[35]。为了在处理长序列任务时实现更低的内存使用，CFM 选择了与 Mamba 相同的重计算方法，包括（ ${\mathcal{L}}_{\text{conf}}={\mathcal{L}}_{\text{noobj}}+{\mathcal{L}}_{\text{obj}}$ ）激活函数和卷积操作，这些操作对 GPU 内存要求高但重计算速度快。同时，Transformer 注意力机制的时间复杂度为 $O\left(n^2\right)$，而 Mamba 的时间复杂度为 $O(n)$（n 代表序列长度）。

3.4 损失函数 (Loss Functions)

我们精心设计了训练损失函数，以产生增强的结果，具有最小的模糊度和最接近真实图像（ground-truth）的细节，并提取 RGB 和热红外模态之间的差异。

PADM 的损失函数。 对于训练 PADM，此阶段损失函数的目标是最大化数据对数似然 ${\log }_{p_{\theta }\left(X_0\right)}$。由于直接最大化这个目标非常具有挑战性，我们使用变分推断（variational inference）来近似这个目标。变分推断通过引入一个变分分布 $q\left(X_1:T\mid X_0\right)$ 来近似真实的后验分布 $p_{\theta }\left(X_0:T\right)$，然后最小化这两个分布之间的差异。这里，我们使用 Kullback-Leibler (KL) 散度来衡量两个概率分布之间的差异。在训练 PADM 期间，具体来说，对于每个时间步 t，我们有：

$$\begin{array}{rl}& {\mathcal{L}}_{\theta }=E_q\left[{\log }_{p_{\theta }}\left(X_0\mid X_t\right)\right]-\\ & E_{q\left(X_{t-1}\mid X_t\right)}\left[D_{KL}\left(q\left(X_{t-1}\mid X_t,X_0\right)\Vert p_{\theta }\left(X_{t-1}\mid X_t\right)\right)\right],\end{array}(19)$$

这增强了网络对图像的理解能力并捕捉图像细节。$D_{KL}$ 是 $q\left(X_{t-1}\mid X_t\right)$ 和 $p_{\theta }\left(X_{t-1}\mid X_t\right)$ 之间 Kullback-Leibler 散度的期望值。对所有时间步的变分下界求和，我们得到整个扩散过程的变分下界：

$$\begin{array}{rl}& {\mathcal{L}}_{\theta }=\sum _{t=1}^T{E}_q\left[{\log }_{p_{\theta }}\left(X_0\mid X_t\right)\right]-\\ & \sum _{t=1}^{T-1}{E}_{q\left(X_{t-1}\mid X_t\right)}\left[D_{KL}\left(q\left(X_{t-1}\mid X_t,X_0\right)\Vert p_{\theta }\left(X_{t-1}\mid X_t\right)\right)\right].\end{array}(20)$$

CFM 的损失函数。 CFM 模块的总损失函数 $\left({\mathcal{L}}_{\text{total}}\right)$ 是边界框回归损失 $\left({\mathcal{L}}_{box}\right)$、分类损失 $\left({\mathcal{L}}_{cls}\right)$ 和置信度损失 $\left({\mathcal{L}}_{conf}\right)$ 的总和。我们使用损失权重参数 ${\lambda }_{\text{box}}$、${\lambda }_{cls}$ 和 ${\lambda }_{conf}$ 来平衡它们在总损失中的贡献。

$$\begin{array}{rl}& {\mathcal{L}}_{total}={\lambda }_{box}{\mathcal{L}}_{box}+{\lambda }_{cls}{\mathcal{L}}_{cls}+{\lambda }_{conf}{\mathcal{L}}_{conf}\\ & ={\lambda }_{box}{\mathcal{L}}_{box}+{\lambda }_{cls}{\mathcal{L}}_{cls}+{\lambda }_{conf}{\mathcal{L}}_{noobj}+{\lambda }_{conf}{\mathcal{L}}_{obj},\end{array}(21)$$
$$\begin{array}{r}{\mathcal{L}}_{box}=\sum _{i=0}^{S^2}\sum _{j=0}^N{l}_{i,j}^{obj}[1-GIo{U}_i],\end{array}(22)$$
$$\begin{array}{r}{\mathcal{L}}_{cls}=\sum _{i=0}^{S^2}\sum _{j=0}^N{l}_{i,j}^{obj}\sum _{c\in classes}{p}_i(c)log({\hat{p}}_i(c)),\end{array}(23)$$
$$\begin{array}{rl}{\mathcal{L}}_{noobj}& =\sum _{i=0}^{S^2}\sum _{j=0}^N{l}_{i,j}^{noobj}(c_i-{\hat{c}}_i{)}^2,\end{array}(24)$$
$${\mathcal{L}}_{obj}=\sum _{i=0}^{S^2}\sum _{j=0}^N{l}_{i,j}^{obj}{\left(c_i-{\hat{c}}_i\right)}^2,(25)$$

其中采用广义交并比（Generalized Intersection over Union, GIoU）作为预测回归损失。$S^2$ 和 N 分别表示预测过程中的图像网格数和预测框数量。$p(c)$ 和 $\hat{p}(c)$ 分别表示真实样本属于类别 c 的概率和网络预测样本属于类别 c 的概率。$l_{i,j}^{obj}$ 表示第 i 个网格的第 j 个预测框是否是正样本，$l_{i,j}^{noobj}$ 表示第 i 个网格的第 j 个预测框是否是负样本。

4. 实验

4.1 SWVI 基准数据集 (SWVI Benchmark)

数据集 (Dataset)。 如图 5 所示，我们建立了 SWVI (Severe Weather Visible-Infrared) 基准数据集。该数据集通过从公开数据集（即 LLVIP[62]、M3FD[64]、MSRS[63]、FLIR[59]）中收集在真实场景中拍摄的图像进行构建。

图5：SWVI数据集概览​​
该数据集包含三种天气条件（雨、雾、雪）和两种场景（白天、夜间），总计提供64,281张图像。饼图可视化数据集中不同类别图像的分布比例，其中"Large"（大目标）和"Small"（小目标）分别表示大/小物体的分布。此处目标尺寸的分类标准基于其边界框面积是否小于2500像素。

它包含多种均匀分布的场景（白天、夜晚、雨天、雾天和雪天），通过不同场景的组合模拟真实环境。此外，我们为每张受恶劣天气影响的可见光图像提供了相应的真实清晰图像 (ground-truth images)，用于图像融合和图像复原网络的训练。如表 I 所示，与之前的可见光-红外数据集相比，SWVI 是第一个明确研究恶劣天气条件如何影响检测性能的数据集。

具体来说，我们通过以下方式从公开的可见光-红外数据集中构建数据集：

$${\mathcal{D}}_{\text{rain}}(J(X))=J(X)(1-M_r(X))+R(X)M_r(X),(26)$$
$${\mathcal{D}}_{\text{snow}}(J(X))=J(X)\left(1-M_s(X)\right)+S(X)M_s(X),(27)$$
$${\mathcal{D}}_{foggy}(J(X))=J(X)e^{-{\int }_0^{d(X)}\beta dl}+{\int }_0^{d(X)}{L}_{\infty }\beta e^{-\beta l}dl,(28)$$

其中 X 表示图像中的空间位置，${\mathcal{D}}_{\text{rain}}(J(X))$、${\mathcal{D}}_{\text{snow}}(J(X))$ 和 ${\mathcal{D}}_{\text{foggy}}(J(X))$ 表示将清晰图像映射为具有雨、雪和雾粒子效果的函数，$J(X)$ 表示不受天气影响的清晰图像，$M_r(X)$ 和 $M_s(X)$ 表示雨和雪的等效掩码，$R(X)$ 表示雨滴掩码图，$S(X)$ 表示雪粒子的色差图。考虑到散射效应，$d(X)$ 表示像素位置 X 处到观察者的距离，$\beta$ 是大气衰减系数，$L_{\infty }$ 是光的辐射率。这些方程有效地表征了常见的天气现象。例如，在雾天条件下，图像中心通常受雾的影响更大，影响效果向周边逐渐减弱。在雨雪情况下，降水在图像中通常呈向下轨迹[38]。表 II 展示了构建不同天气条件所使用的方法以及考虑的影响因素。根据我们的评估，SWVI 数据集在与真实世界天气数据比较时，其 Fréchet Inception Distance (FID)[65] 和 Kernel Inception Distance (KID)[66] 得分分别为 2.376 和 0.19，证明了其在模拟真实天气条件方面的强大能力。

我们将 SWVI 划分为训练集（34,280 张图像）、验证集（17,140 张图像）和测试集（8,570 张图像）。每个文件夹包含三个部分：成对的可见光-红外图像以及对应的受天气影响的可见光图像。请注意，受天气影响的可见光图像包含三种天气条件，分类为 SWVI-snow、SWVI-rain 和 SWVI-foggy。在训练期间，我们在第一阶段使用成对的图像（受天气影响图像和真实清晰图像）来训练 PADM；然后在第二阶段使用成对的图像（真实清晰图像和红外图像）及其对应的标签来训练 CFM。在验证和测试期间，我们直接使用成对的图像（受天气影响图像和红外图像），在真实条件下验证和测试 CFMW 的性能。我们在评估其他方法时也采用这种方法。

评估指标 (Evaluation metrics)。 我们采用传统的峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)[67] 和结构相似性 (Structural Similarity Index, SSIM)[68] 用于定量评估真实清晰图像与复原图像之间的差异。PSNR 主要用于评估图像处理后的失真程度，而 SSIM 更关注图像的结构信息和视觉质量。至于目标检测定量实验，我们引入了三个目标检测指标：平均精度均值 (mean Average Precision, mAP, mAP50, and mAP75) 来评估目标检测模型的准确性。

PSNR 的计算公式如下：
$$\mathrm{PSNR}=10\times \lg (\frac{{\left(2^n-1\right)}^2}{MSE}),(29)$$
$$MSE=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W(X(i,j)-Y(i,j){)}^2,(30)$$
其中 H 和 W 分别表示图像的高度和宽度，n 是每个像素的位数（通常取 8），$X(i,j)$ 和 $Y(i,j)$ 分别表示对应坐标处的像素值。

SSIM 的计算公式如下：
$$SSIM=[l(x,y){]}^{\alpha }\cdot [c(x,y){]}^{\beta }\cdot [s(x,y){]}^{\gamma },(31)$$
$$l(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1},$$
$$c(x,y)=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2},$$
$$s(x,y)=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3},$$
其中 $l(x,y)$ 测量亮度，$c(x,y)$ 测量对比度，$s(x,y)$ 测量结构，$\mu$ 和 $\sigma$ 分别表示均值和标准差。$C_1,C_2$ 和 $C_3$ 是防止分母为零的常数。

mAP、mAP50 和 mAP75 的计算公式如下：
$$mAP=\frac{1}{n}\sum _{i=1}^{N}A{P}_i,$$
$$A{P}_i={\int }_0^1\text{ Precision}d(\text{ Recall}),(36)$$
需要注意的是，mAP50 计算的是所有类别在 IoU=0.50 时的 AP 值的平均值，mAP75 计算的是在 IoU=0.75 时的 AP 值的平均值。

4.2 实现细节 (Implementation Details)

对于 PADM，我们在特定天气条件（单天气）和多天气条件的图像复原设置下都进行了实验。我们将特定天气复原模型表示为 de-rain、de-snow 和 de-foggy，以验证 PADM 模型在特定天气条件下的通用性。我们训练了所有模型的 $128\times 128$ 图像块大小版本。在训练所有模型时，我们使用 Adam 作为优化器。我们使用线性噪声调度策略。根据扩散网络设计中常用的超参数[50],[52],[53]，我们将 $\beta$ 的初始值设为 0.001，最终值设为 0.02。在训练过程中，我们在单个 RTX A6000 显卡（48GB RAM）上训练 PADM $3\times 10^6$ 次迭代，扩散步数为 1000，耗时 3 天。

对于 CFM，我们没有进行任务特定的参数调整或修改网络架构。为了获得更好的性能，我们选择 YOLOv5 模型的公开权重（yolov5l.pt）进行初始化，该权重在大型 COCO 数据集[73]上进行了预训练。在训练阶段，我们将批大小（batch size）设置为 32，Adam 优化器的动量（momentum）设置为 0.98，学习率从 0.001 开始。损失函数 $L_{total}$ 中的损失权重参数 ${\lambda }_{box}$、${\lambda }_{cls}$ 和 ${\lambda }_{conf}$ 分别设置为 1.0、1.0 和 1.0。

4.3 对比实验 (Comparative Experiments)

在本节中，我们将 CFMW 与几种最先进的方法在图像去天气化和跨模态目标检测方面分别进行比较。在表 III 中，我们与图像去雪（如 SPANet[74], DDM-SNet[75], DesnowNet[76], RESCAN[77]）、图像去雨（如 ESTINet[44], Cycle-GAN[78], PCNet[79], MPRNet[80]）和图像去雾（如 pix2pix[81], DuRN[82], AttentiveGAN[83], IDT[84]）方法进行了比较，以及四种最先进的多天气图像复原方法：All in One[41], TransWeather[38], GridFormer[42] 和 WeatherDiff[50]。在表 IV 和表 V 中，为了证明 CFMW 的一致改进，我们与几种基础的单模态目标检测方法（如 Faster R-CNN[72], SDD[85], YOLOv3[71], YOLOv5[70], YOLOv7[69], YOLOv8[86], YOLOv10[87], DETR[88], Deformable DETR[89]）以及几种多模态目标检测方法（如我们的基线、标准双流 YOLOv5 目标检测网络和 CFT[1]）进行了比较。

图像去天气化对比 (Comparison of image deweathering)。 如表 III 所示，我们在新建立的 SWVI 数据集上进行了比较，以衡量不同模型在不同天气条件下的性能。表格顶部包含了特定天气图像复原的结果，其中我们设置采样时间步长 S=50。对于图像去雨、图像去雾和图像去雪任务，所提出的解决方案在各项任务上均取得了最佳结果（在 SWVI-rain 上为 36.78/0.9464，在 SWVI-foggy 上为 36.53/0.9795，在 SWVI-snow 上为 42.23/0.9821）。特别是在图像去雨任务中，与当前最先进的方法（MPRNet[80]）相比，性能提升约为 24%。对于多天气图像复原，尽管由于任务的复杂性，结果不如特定天气模型，但所提出的方法也达到了最佳结果（在 SWVI-rain 上为 35.02/0.9322，在 SWVI-foggy 上为 35.88/0.9602，在 SWVI-snow 上为 40.98/0.9578），与 TransWeather[38] 相比性能提升约 17%，与 All in One[41] 相比性能提升约 25%。

跨模态目标检测对比 (Comparison of cross-modality object detection)。 如表 IV 和表 V 所示，我们使用 LLVIP[62] 和 SWVI 作为对比数据集。表格顶部包含了单模态网络的结果，每个网络分别使用 RGB 模态或热红外模态进行检测。表格底部展示了当前 SOTA 多模态网络的结果，包括基础的双流 YOLOv5[70]、YOLOv7[69]、YOLOv8[86]、YOLOv10[87]、CFT[1]、ProEN[14]、GAFF[16]、CSAA[90]、RSDet[91]、DIVFusion[92] 以及提出的 CFMW。根据表 V，可以观察到，通过整合 PADM 和 CFM，CFMW 在 SWVI-snow 上的每项指标（mAP50: 2.3↑, mAP75: 4.3↑, mAP: 3.0↑）都取得了压倒性的性能提升，这表明它在恶劣天气条件下具有更好的适应性。同时，如表 IV 所示，CFMW 能够以更低的计算消耗实现更精确的检测（mAP50: 98.8, mAP75: 77.2, mAP: 64.8）。

此外，图 9 可视化了 CFMW 在 SWVI 数据集上与 CFT[1] 的性能对比。从图中可以看出，与基于注意力机制融合的 CFT 相比，CFMW 在极端场景（如多个目标重叠和小目标）下对天气干扰更具鲁棒性，并保持稳定的检测效果。CFMW 的检测结果非常接近真实标注（ground truth）。推测这是因为 PADM 的加入减少了恶劣天气引起的图像噪声，而 CFM 叠加融合特征补充了图像中目标的特征。然而，不可否认的是，在某些特定场景下，CFMW 仍然缺乏对图像中小目标的检测能力，这需要后续工作改进这类特殊问题，并进一步提高模型在恶劣天气下多模态目标检测的鲁棒性。

4.4 消融研究与分析 (Ablation Study and Analysis)

在本节中，我们分析了 CFMW 的有效性。我们首先通过参数化的消融实验验证了 PADM 和 CFM 模块在性能提升中的重要性。然后，我们通过可视化特征来验证模型的实际效果。最后，我们对一些超参数设置进行了消融实验。

​​图6：不同目标尺寸与天气条件下的检测精度可视化分析​​
此处目标尺寸的分类标准基于其边界框面积是否小于2500像素。评估指标分别针对大目标和小目标独立计算，以提供更细粒度的模型性能分析。

探索性实验 (Exploration experiments)。 如图 6 所示，为了分析不同恶劣天气类型如何影响目标大小和检测精度，我们对 SWVI 数据集中的目标物体进行了分类分析。在这里，我们根据其边界框面积是否小于 2500 来定义目标大小的分类标准。选择此阈值是因为在 1280x1024 分辨率下，50x50 大小的目标被认为是相对难以识别的。基于此标准，我们将 86,932 个目标分类为大目标（占比 73.8%），将 30,856 个目标分类为小目标（占比 26.2%）。研究结果表明，在所有三种天气条件下，网络对小目标检测的敏感性都很高，尤其是在雾天环境中。我们推测这是由于恶劣天气条件引入的噪声模糊了图像边缘，降低了提取特征的清晰度，从而导致漏检。

图7：CFM模块数量消融实验​​
图中圆圈上方的数值标记代表模型在不同CFM模块数量下的检测性能（以mAP50为评估指标）。该实验在SWVI数据集上评估模块性能，mAP50值越高表示结果越优。

超参数实验 (Hyperparameters experiments)。 我们对 PADM 和 CFSSM 模块的超参数进行了广泛的消融研究，以探究在哪些配置下 CFMW 框架能达到最佳性能。如图 7 所示，可以观察到当 CFM 块的数量达到 8 时，整体性能最优。随着堆叠块数量的增加，模型的性能会提高，但过多的 CFM 块会导致模型在有限的数据集上过拟合，从而降低其泛化能力。我们对 PADM 进行了消融实验，改变扩散步数和噪声注入策略。图 8 说明了在这些不同策略下，原始图像和添加噪声在每个时间步的比例。如图 10 所示，我们测试并可视化了移除 PADM 模块和 CFM 模块对跨模态特征提取和融合的影响。可以观察到，移除 PADM 模块后，模型提取的特征大大减少，推测是由于天气引起的模糊噪声所致。移除 CFM 会导致模型对目标轮廓的识别能力下降。

定性实验 (Qualitative experiments)。 为了验证 PADM 和 CFM 模块的有效性，我们展示了 PADM 和 CFM 的消融可视化结果。为了理解 CFMW 中每个组件的影响，我们进行了一组全面的消融实验。如表 VI 所示，我们进一步将 CFM 和 PADM 与其他经典检测器（即 YOLOv7[69]、YOLOv5[70]、YOLOv3[71] 和 Faster R-CNN[72]）结合，以展示我们 CFMW 的通用有效性。所提出的 CFMW 提高了使用一阶段或两阶段检测器的跨模态目标检测在复杂天气条件下的性能。具体来说，CFM 在 YOLOv5[70] 上实现了 mAP50 提升 11.3%，mAP75 提升 81.6%，mAP 提升 78.3%。添加 PADM 后，我们在 mAP50 上实现了 12.1% 的提升，在 mAP75 上实现了 88.2% 的提升，在 mAP 上实现了 80.4% 的提升。

图11：CFT与CFM效率对比消融实验​
图中圆圈上方的数值标记代表模型在不同分辨率下的GPU显存占用（单位：GB）。

我们还与 CFT 进行了效率比较。如图 11 所示，我们在 SWVI 数据集上进行了此实验，批大小为 8。随着分辨率持续增加，CFT 训练期间 GPU 内存使用量的增长速度远高于 CFM。当分辨率达到 1280 x 1280 时，CFT 所需的 GPU 内存达到 35.2GB，而 CFM 在相同条件下仅需 18GB，节省了 51.2%。当分辨率超过 1280x1280 时，CFT 所需的内存容量超过了 RTX A6000 显卡的 RAM（48GB RAM），导致无法继续训练。在表 VII 中，我们定量研究了 CFM 和 CFT 在 FPS 方面的差异。从结果中我们观察到，与基线 CFT[1] 相比，我们提出的方法显著提高了推理速度（13.52 vs. 5.14 FPS），同时保持了优越的检测性能。如图所示，在相同设置下，CFM 的速度比 CFT[1] 快了近 3 倍，证明了其在跨模态目标检测中的效率和有效性。
好的，这是您提供的文档第五部分“V. CONCLUSION AND FUTURE WORK”的中文翻译，采用学术论文的严谨表述，并保留原文的技术细节与逻辑结构：

5. 结论与未来工作

结论
本研究提出了一种面向恶劣天气条件下可见光-红外目标检测的创新方法 CFMW（Cross-modality Fusion Mamba with Weather-robust）。通过引入 扰动自适应扩散模型（PADM） 和 跨模态融合Mamba模块（CFM），该框架在提升检测精度的同时显著优化了计算效率。核心贡献可概括为以下三点：

1. 新型任务定义与数据集构建
   首次系统化研究恶劣天气（雨、雾、雪）对跨模态目标检测的影响，并发布 SWVI（Severe Weather Visible-Infrared）数据集。该数据集包含64,281组对齐的可见光-红外图像对，涵盖3种天气条件与2种光照场景（白天/夜间），通过数学建模实现天气退化仿真（公式26-28），其FID=2.376/KID=0.19验证了仿真真实性。

2. 关键技术突破

   • PADM模块：基于条件扩散模型实现图像去退化，通过隐式采样（公式5）恢复天气干扰下的纹理细节
   • CFM模块：利用Mamba架构的线性复杂度（$O(n)$）特性，设计跨模态特征交换机制（公式11-12）与门控融合策略（公式14-15），较Transformer方案（$O(n^2)$）速度提升3倍
   • 联合优化框架：首次实现去退化与目标检测的端到端协同训练（图2）

3. 性能验证
   在SWVI、M3FD和LLVIP数据集上的实验表明：

   • 检测精度：mAP50达98.8（较CFT[1]提升8%）
   • 计算效率：1280×1024分辨率下推理速度13.5 FPS（GPU显存占用降低51.2%）
   • 鲁棒性优势：雾天小目标检测精度提升17%（图6）

未来工作 (Future Work)
当前研究存在两点关键挑战，需在后续工作中重点突破：

1. 真实数据匮乏问题
   可见光-红外数据依赖专用采集设备（如监控摄像头、自动驾驶传感器），现有真实恶劣天气数据规模有限。未来需：

   • 构建更大规模的真实多天气数据集
   • 开发无监督/半监督学习范式减轻数据依赖

2. 技术瓶颈突破方向

   • 小目标检测优化：针对面积<2500像素的目标（占比26.2%），设计注意力增强机制（图5）
   • 模型轻量化：探索知识蒸馏与神经架构搜索（NAS），实现边缘设备部署
   • 多任务统一架构：扩展至视频流处理、三维检测等下游任务
   • 理论创新：建立天气退化与特征融合的数学模型，指导网络结构设计