当前位置：首页 > news >正文

【Trans2025】计算机视觉|即插即用|WSC:即插即用！WSC模块，高光谱图像分类新SOTA！

news 2025/9/15 9:19:29

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11083631
代码地址：https://github.com/jinwan1994/MESFINet

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

现有基于 Mamba 架构的高光谱图像分类 (HSIC) 模型主要集中于表征原始光谱和空间域，而对时频分析的探索有限。本研究提出了一种新的基于小波分解的光谱-空间 Mamba 网络，用于 HSIC，称为“WD-SSMamba”。该模型结合了一维和二维小波分解，分别提取频域中的光谱和空间特征。具体而言，本研究设计了一个创新的频率特征提取 (FE) 模块，该模块包含一个用于光谱特征提取的光谱小波卷积 (SWC) 模块和一个用于空间特征提取的小波可分离卷积 (WSC) 模块。此外，为了解决传统 Mamba 模型中光谱-空间特征融合在 HSIC 中的挑战，本研究设计了一个具有交叉融合结构的双分支 Mamba 模块，称为“HyperMamba”模块，以有效地提取和融合光谱和空间特征。在四个公开可用的高光谱图像 (HSI) 数据集上进行了综合实验，即帕维亚大学、WHU-Hi-LongKou、WHU-Hi-HongHu 和休斯顿 2013。结果表明，WD-SSMamba 模型在这些数据集上分别实现了 92.48%、97.91%、89.98% 和 87.00% 的总体精度 (OA)，每类训练样本少于 20 个，在所有测试数据集上都超过了其他竞争模型。此外，它显著减少了参数数量到少于 50k，并将浮点运算 (FLOPs) 减少到少于 3.02M，从而充分展示了频率分析和 Mamba 结构在 HSIC 中的巨大潜力。

引言

高光谱图像分类（HSIC）是遥感领域的关键任务，其目标是为每个像素分配唯一的土地覆盖类别。深度学习，特别是卷积神经网络（CNN）和Transformer，已成为HSIC的流行工具。然而，CNN受限于其局部感受野，难以有效捕捉全局信息。而Transformer虽然擅长通过自注意力机制建模长距离依赖关系，但其计算复杂度使其在处理高光谱图像（HSI）数据时效率不高。Mamba模型作为一种基于状态空间模型（SSM）的创新序列建模方法应运而生。它可以动态捕获序列数据中的上下文依赖关系，实现高效的全局特征建模。同时，Mamba可以通过卷积式训练和循环式推理操作，实现与序列长度线性或近似线性的扩展，从而在保持模型效率的同时显著降低计算成本。现有的基于Mamba架构的HSIC模型主要集中于表征原始光谱和空间域，而对时频分析的探索有限。此外，仅仅依赖Mamba提供的全局特征，而忽略地物局部同质性，容易造成分类图的碎片化，从而导致另一条整合全局和局部特征的研究路线。本研究致力于将小波分解引入HSIC，以增强频域中光谱-空间特征的提取。小波变换使用具有有限长度和衰减的小波基，具有更好的时频局部化能力，更适合处理HSI等非平稳信号。

论文创新点

WSC模块：高效提取空间特征的创新方法 🌊

本研究提出了一个名为WSC（wavelet separable convolution）的模块，用于高效提取空间特征，该模块主要有以下几个创新点：

🌊 小波变换与逐点卷积的集成: 🌊
- WSC模块集成了二维小波变换和逐点卷积。该模块首先对输入的图像块进行逐点卷积以降低维度，然后使用二维Haar小波变换将降维后的特征图分解成不同频率尺度的子带。
- 这一过程有效地提取了图像在频域中的空间结构信息，例如形状和轮廓等关键特征，并通过小波变换的多分辨率特性捕捉了不同尺度的空间细节。
🔍 小型卷积核的使用: 🔍
- WSC模块使用了3x3的小型卷积核对每个分解后的频率子带进行卷积操作。
- 相较于更大尺寸的卷积核，3x3卷积核在参数数量和计算效率上更具优势，同时能够有效地提取图像的局部细节信息，并保持较高的空间分辨率。
- 这使得模型在训练过程中不易出现过拟合，并且能够更好地捕捉图像中的细微变化。
🔗 定制的残差连接: 🔗
- 在对子带进行卷积操作并通过二维逆小波变换恢复到原始空间维度后，WSC模块将这些特征图与另一组使用不同卷积核处理的降维特征图进行融合。
- 这种残差连接的设计确保了特征表示的一致性和完整性，减少了信息损失的风险，并进一步提升了模型的分类精度和鲁棒性。
✨ 频域空间特征提取的创新性: ✨
- WSC模块的创新性在于其将小波变换与深度学习相结合，从而在频域中有效地提取空间特征。
- 这种方法不同于传统的基于空域的卷积操作，它能够更好地捕捉图像中不同频率成分的特征，从而提高模型对复杂场景的理解能力。
- 与三维小波变换相比，WSC模块采用二维小波变换结合逐点卷积的方式，显著降低了计算复杂度，在保证性能的同时提高了效率。