当前位置：首页 > news >正文

[TIP 2025] 轻量级光谱注意力LSA，极致优化，减少99.8%参数，提升性能！

news 2025/8/8 9:52:23

Bilibili：CV缝合救星

🌈 小伙伴们看过来～

写推文真的不容易，每一行字、每一张图都倾注了我们的心血💦 如果你觉得这篇内容对你有帮助、有启发，别忘了顺手点个赞、转发一下、或者点个“在看” 支持我们一下哈～✨

你的一点鼓励🌟，对我们来说就是超大的动力！

👀 小声提醒：用电脑打开阅读更舒服哟，排版清晰、体验更棒！谢谢大家～我们会继续努力产出优质内容，陪你一起进步呀✌️❤️

01 论文信息

论文题目：Unsupervised Spectral Demosaicing with Lightweight Spectral Attention Networks (TIP 2025 顶刊论文) 中文题目：基于轻量级光谱注意力网络的无监督光谱去马赛克即插即用模块：Lightweight Spectral Attention Module 轻量级光谱注意力模块（LSA模块）

02论文概要

Highlight

图 1.由监督深度去马赛克网络 SpNet [8]、MCAN [9]、InNet [10] 和所提议的无监督深度去马赛克网络在由25波段SFA光谱成像仪拍摄的叶子真实光谱马赛克图像上，841nm波长下的去马赛克结果。

03 研究背景

🌧️ 存在的问题（背景动因）

① 光谱去马赛克方法中参数过多：现有的深度学习光谱去马赛克方法通常需要大量的参数来捕捉光谱特征，导致计算资源消耗过高，并不适合部署到资源有限的设备上。
② 现有方法无法有效适应无监督训练：传统的监督学习方法依赖于合成数据来训练网络，但这些方法在真实世界数据上的表现较差，尤其是在没有成对图像数据的情况下，难以实现有效的去马赛克。
③ 去马赛克结果缺乏灵活性和计算效率：大多数现有方法在生成去马赛克图像时，往往无法平衡高保真度与计算效率之间的矛盾，生成图像的细节表现不够生动且表现力不足。

💡 解决思路（LSA 核心贡献）

① 提出轻量级光谱注意力模块（LSA）：通过将光谱注意力张量分为空间维度上的注意力矩阵和通道维度上的注意力向量，减少了模块的参数数量，同时提升了无监督训练框架中的计算效率和表现力。
② 减少计算复杂度：LSA模块通过分离空间和通道的光谱注意力，显著减少了计算量，使得该模块更加适合无监督的光谱去马赛克任务。
③ 提高去马赛克精度和效率：LSA模块不仅降低了参数量，还能够有效提升去马赛克图像的质量，确保在降低计算成本的同时，保持较高的风格一致性和细节表现力。

04 模块原理解读

📌 模块解析 | Lightweight Spectral Attention Module 轻量级光谱注意力模块（LSA模块）

图 2. 所提出的 LSA模块流程图

📌 LSA模块聚焦于“计算效率优化”与“光谱细节保留”的联合设计，其核心由以下三个关键特点构成：

① 轻量级光谱注意力模块（LSA）减少参数数量：通过将光谱注意力张量分为空间维度上的光谱注意力矩阵和通道维度上的光谱注意力向量，显著减少了计算量和参数数量，使得该模块更适合在计算资源有限的设备上应用。

② 空间维度的光谱注意力增强区域风格一致性：通过对同一空间区域内的光谱特征进行注意力计算，确保生成的去马赛克图像在空间上具有一致的风格和过渡效果。

③ 通道维度的光谱注意力增强细节纹理表现：聚焦于每个通道中与查询点最相关的光谱特征，提取精细的纹理细节，提升图像的表现力和真实感。

🔍 该模块通过“空间与通道维度的光谱注意力分离”和“轻量级设计”的协同优化，实现了计算效率和图像质量的平衡，特别适用于需要高效光谱去马赛克的任务。

05 创新思路

CV缝合救星原创模块

🧠 模块名称：LSAM
（Lightweight Spectral Attention Module，轻量级光谱注意力模块）

LSAM模块通过引入轻量级的光谱注意力机制，旨在优化光谱去马赛克过程。它通过减少计算量并保持较高的特征提取能力，提升模型在无监督学习中的效率和效果。其核心设计如下：

① 轻量级光谱注意力机制（创新点⭐）
通过将光谱注意力张量分为空间维度上的光谱注意力矩阵和通道维度上的光谱注意力向量，LSAM模块减少了计算复杂度，尤其适合在资源受限的设备上应用。此设计在保持模型性能的同时，大幅减少了参数量和计算量，从而提高了训练和推理速度。

② 空间注意力增强区域一致性（创新点⭐）
模块通过空间注意力机制，使得每个空间区域的光谱特征保持一致。这种方法保证了风格和结构在空间维度上的过渡自然，避免了过度的变化，生成的图像区域一致性较强，有助于提升生成图像的整体连贯性。

③ 通道注意力增强细节表现（创新点⭐）
LSAM通过引入通道维度的注意力机制，重点关注与查询点最相关的光谱特征。通过这种方式，模块能够提升细节纹理的表现力，使得生成的图像在细节上更精细，表现出更高的准确性和真实性。

④ 计算效率优化（创新点⭐）
模块采用轻量级设计，减少了不必要的计算操作。它不仅在计算资源受限的情况下能够运行，而且还通过调整空间与通道的注意力机制，确保了较低的计算成本与高效的训练表现。相比于传统的去马赛克方法，LSAM能够显著减少计算开销，尤其适用于在大规模数据集上进行训练和推理。

📌 输入：特征图
x ∈ [B, C, H, W]

📤 输出：增强后的特征图
[B, C, H, W]（与输入形状一致）

过程步骤：

【Step 1】卷积预处理（可选）
通过1×1卷积调整输入通道维度（若设置cov1=1）。

【Step 2】分组光谱注意力机制 + 动态门控融合
将输入沿通道维度分为多个组，每组分别应用光谱注意力机制：

对每组，先应用通道和空间注意力（类似于CBAM）。
然后，通过Sigmoid与Tanh进行门控融合，增加非线性表达。
采用均值门控策略：高于均值的激活值被设置为1，其他保持原值，从而强化关键特征。

【Step 3】通道 Shuffle 跨组混合
对每组的输出进行channel shuffle操作，打乱通道顺序，实现不同组之间的信息交互，进一步提升模型的感知能力。

【Step 4】卷积后处理（可选）
通过1×1卷积恢复通道维度（若设置cov2=1）。

【Step 5】残差连接与可学习缩放
将输出与输入进行残差连接，并乘以可学习的缩放因子，动态调整残差分支的贡献，确保训练稳定性和梯度的流畅传递。

06 模块适用任务

🎯 LSA 模块适用任务（轻量级光谱注意力机制）：

① 医学影像分割与增强：通过光谱注意力机制提高细节捕捉能力，适用于医学影像中的病灶检测与组织分割任务。
② 遥感影像去马赛克与复原：光谱去马赛克技术在遥感图像的应用中，通过保持高频细节提升图像恢复质量，适合地物分类与目标检测任务。
③ 多通道图像增强：在多光谱与超光谱图像处理中，LSA模块能够有效增强多通道信息之间的交互与一致性，提升图像的准确性与细节表现。
④ 实时图像处理与小型设备应用：由于其轻量级设计，适用于边缘计算与移动设备中的图像增强和去马赛克任务，满足速度与资源限制的需求。
⑤ 多任务学习与视觉 Transformer 模型：作为视觉 Transformer 中的光谱信息增强模块，提升多任务学习（如分类+分割）的表现力与稳定性。

🎯 LSAM 模块适用任务（轻量级光谱注意力 + 通道增强 + 可学习残差融合）：

① 小目标检测与遥感影像分析：通过引入光谱注意力机制和通道注意力机制，适用于遥感图像中的小目标检测，如飞机、船只、车辆等的检测任务。
② 医学影像小结构分割与微小病灶检测：在医学影像中，LSAM模块通过细粒度结构增强微小病灶或血管的检测与分割，适合肺结节、眼底血管分割等任务。
③ 实时视觉推理与边缘计算：模块结构轻量，能够在资源有限的边缘设备和移动端实现高效的图像处理，适合对实时性要求高的场景。
④ 目标检测与实例分割主干增强：集成于YOLO、Mask R-CNN等检测分割网络中，强化backbone提取的判别性与鲁棒性，提升检测与分割精度。
⑤ 视觉 Transformer 与跨区域特征融合：作为Vision Transformer（ViT）、Swin Transformer等结构的辅助模块，增强通道维度信息交互与跨区域特征融合能力，提升深度学习模型的表现力。

📌 总结：