当前位置：首页 > news >正文

【Arxiv 2025】重磅发布！全新傅里叶残差通道注意力模块FRCA，助显著性目标检测与跨模态融合，精准提升深度学习性能！

news 2025/9/27 11:55:10

Bilibili：CV缝合救星

🌈 小伙伴们看过来～

写推文真的不容易，每一行字、每一张图都倾注了我们的心血💦 如果你觉得这篇内容对你有帮助、有启发，别忘了顺手点个赞、转发一下、或者点个“在看” 支持我们一下哈～✨

你的一点鼓励🌟，对我们来说就是超大的动力！

👀 小声提醒：用电脑打开阅读更舒服哟，排版清晰、体验更棒！谢谢大家～我们会继续努力产出优质内容，陪你一起进步呀✌️❤️

01 论文信息

论文题目：Deep Fourier-embedded Network for RGB and Thermal Salient Object Detection (Arxiv 2025 预发行论文)

中文题目：基于深度傅里叶嵌入网络的RGB和热成像显著性目标检测

即插即用模块：傅里叶残差通道注意力模块 Fourier Residual Channel Attention Block (简称 FRCA)

02 论文概要

Highlight

图 1. RGB和热成像图像的幅度、相位、高频和低频分量的可视化。

03 研究背景

🌧️ 存在的问题（背景动因）

① Transformer模型计算复杂度高：现有的Transformer-based模型在处理双模态特征融合时，存在计算开销大和内存消耗高的问题，尤其是在高分辨率图像输入下，Transformer的二次复杂度使其难以高效应用于大规模图像处理任务。
② 频率差距导致的精度损失：尽管现有深度学习模型在RGB和热成像图像的显著性检测中取得了不错的成绩，但其预测结果与实际值之间仍然存在频率差距，尤其是在边缘和高频信息的捕捉上，导致了精度的下降。
③ 传统卷积方法的不足：传统卷积操作在处理RGB和热成像图像时，无法有效地融合两种模式的信息，尤其在双模态图像的显著性目标检测任务中，卷积无法充分利用RGB与热成像图像之间的互补特性，从而限制了性能的提升。

💡 解决思路（FRCAB 核心贡献）

① 傅里叶残差通道注意力模块（FRCAB）：提出了基于傅里叶变换的残差通道注意力模块，旨在解决双模态图像中高频信息的捕捉问题。通过在解码器中引入傅里叶变换与残差通道注意力机制，FRCAB可以优先处理高频信息，有效提升了模型在显著性目标检测中的精度和效率。
② 频率信息优化：通过引入傅里叶变换，FRCAB将低频信息与高频信息进行了有效的分离和优化，解决了传统卷积方法无法有效捕捉细节信息的问题，尤其是在图像边缘和复杂纹理的处理上，进一步提升了模型的表现。
③ 通道注意力机制：FRCAB通过通道注意力机制，对每个通道之间的全局依赖关系进行建模，优化了通道特征的选择与加权，从而提高了模型的判别能力，使其能够在双模态图像的显著性目标检测中获得更好的性能。
④ 高效显著性目标检测：FRCAB结合傅里叶变换和残差通道注意力机制，不仅有效提高了特征提取的精度，而且在保证计算效率的同时，成功解决了频率差距问题，推动了显著性目标检测任务的高效性与高精度表现。

04 模块原理解读

📌 模块解析 | FRCAB 傅里叶残差通道注意力模块

图 2. 所提出的FRCAB模块流程图

📌 FRCAB 模块聚焦于“高频信息优化”与“全局特征建模”的统一，其核心由以下三个关键特点构成：

① 傅里叶变换与通道注意力机制结合：通过引入傅里叶变换对低频与高频信息进行分离，结合通道注意力机制，优先学习高频信息，解决了传统卷积无法有效捕捉细节信息的问题。

② 提升计算效率与内存优化：FRCAB 的设计有效地减少了计算开销与内存消耗，尤其是在处理双模态图像时，通过频率分离与通道加权，提高了计算效率，适合高分辨率图像处理。

③ 全局依赖建模与特征精细化：FRCAB 通过通道间的全局关系建模，有效整合双模态图像的互补信息，并确保在解码阶段高频信息得到优先学习，提升了显著性目标检测的精度和效率。

🔍 该模块通过“傅里叶变换 + 通道注意力机制 + 全局特征建模”的设计，不仅优化了高频信息的处理，提升了特征提取的精度，还在显著性目标检测任务中展现出优于现有方法的性能，成为提升模型效率与精度的关键组件。

05 创新思路

CV缝合救星原创模块

🧠 模块名称：FG-RCA —— Fourier-Gated Residual Channel Attention（傅里叶门控残差通道注意力模块）

💡 长按识别🔍，领取💾源码

💡 设计动机：传统的卷积方法在显著性目标检测任务中存在以下问题：
① 计算与存储开销过大：传统卷积在处理双模态图像时，计算量大且内存消耗高，尤其是在高分辨率图像中，难以满足轻量化需求。
② 高频信息难以提取：尽管传统卷积在低频特征提取上有较好表现，但对于高频信息（如边缘细节）往往忽视，导致图像细节丢失，影响检测精度。
③ 频域信息融合不充分：现有方法在频域信息的处理上存在一定局限，无法有效融合振幅和相位信息，导致特征表达不全面。

FG-RCA 通过 傅里叶变换 + 通道注意力 + 残差融合，有效解决了传统卷积计算量大、高频信息提取不足以及频域信息融合不充分的问题，增强了模型在显著性目标检测任务中的表达力与效率。

📌 核心创新点

1. 傅里叶变换与通道注意力结合（创新点⭐）
通过引入傅里叶变换对振幅和相位进行分离与调制，再结合通道注意力机制，增强了高频信息的学习能力，使得模型能够更好地捕捉图像细节。

2. 高频信息增强（创新点⭐）
在频域中对振幅和相位进行非线性调制，提升了高频成分的关注度，从而改善了细节信息的表达，尤其适用于复杂的目标检测任务。

3. 通道描述向量与2D FFT结合（创新点⭐）
利用通道描述向量和2D FFT，将每个通道的全局信息映射到频域，通过频域重建和逆傅里叶变换，提升了全局上下文建模能力，确保了信息的充分融合。

4. 残差与频域融合（创新点⭐）
通过将频域信息与残差信息结合，进一步提高了网络的稳定性，改善了深层网络的训练效果，并有效避免了信息丢失。

📌 输入输出

输入：
x ∈ [B, C, H, W] （输入特征图）
输出：
[B, C, H, W] （空间尺寸保持不变，增强高频信息表达与全局建模能力）

📌 过程步骤
Step 1：通道描述向量
通过全局平均池化（GAP）提取输入图像的通道描述向量，进行频域处理。

Step 2：傅里叶变换与频谱分离
将通道描述向量转换为2D网格，进行傅里叶变换，提取振幅和相位信息。

Step 3：振幅与相位调制
对振幅和相位进行非线性调制，调整各频率分量的权重，增强高频特征表达。

Step 4：频域重建与逆傅里叶变换
将调制后的频谱进行逆傅里叶变换，得到增强后的频域信息，恢复到空间域。

Step 5：通道注意力与残差融合
利用通道注意力机制为每个通道分配权重，进行频域与空间域的残差融合。

👉 总结：
FG-RCA 通过 傅里叶变换 + 通道注意力 + 残差融合 的设计，突破了传统卷积在计算量大和高频信息提取不足的问题，在提高效率的同时，增强了高频信息的表达和全局上下文建模能力，特别适用于资源受限的视觉任务，具有优异的显著性目标检测性能。

06 模块适用任务

🎯 FRCA 模块适用任务（Fourier Residual Channel Attention，傅里叶残差通道注意力）

1. 高频信息增强任务：通过傅里叶变换和频谱调制，增强图像的高频信息，适用于显著性目标检测、图像分割等任务，尤其是复杂场景下的精细目标检测。

2. 双模态图像处理任务：结合RGB和热成像图像的互补信息，利用傅里叶变换有效融合两种模态的特征，适合跨模态目标识别与融合任务。

3. 复杂纹理恢复任务：通过频域特征调制与融合，有效提高图像中的细节表达能力，适合医学影像、卫星图像等高细节恢复任务。

4. 深度网络增强任务：作为深度网络的特征增强模块，可提升CNN或Transformer骨干在复杂任务中的表达力和性能，特别适合大规模图像识别与分析。

🎯 FG-RCA 模块适用任务（Fourier-Gated Residual Channel Attention，傅里叶门控残差通道注意力）

1. 显著性目标检测任务：通过傅里叶门控机制与频域调制，增强对细节与高频信息的关注，适用于复杂场景中的目标检测任务。

2. 双模态特征融合任务：针对RGB与热成像图像的多模态融合任务，FG-RCA通过自适应频域特征调制，有效增强了两种模态信息的交互，提升了跨模态检测能力。

3. 高效图像分割任务：借助频域信息优化和残差融合，FG-RCA适用于医学图像分割、遥感图像分析等任务，特别是在图像中的边界和细节提取方面表现突出。

4. 深度学习模型增强任务：作为深度网络（如CNN、Transformer）的增强模块，FG-RCA能够提升模型对复杂图像信息的表达与处理能力，尤其适合需要处理大量复杂图像数据的任务。

    📌 总结对比
    FRCA：强调 傅里叶变换 + 残差通道注意力，突出频域信息的优化和高频信息的增强，适合显著性目标检测与复杂图像分析任务。
    FG-RCA：在 FRCA 的基础上引入 傅里叶门控机制 + 残差融合，适合复杂图像分析、跨模态任务与深度模型增强，提供更强的跨域特征融合能力。