10种涨点即插即用模块 特征处理合集篇（六）！！！(附原文地址+论文+代码)

---

1、(TPAMI 2022) EA 外部注意力

原文地址：(即插即用模块-Attention部分) 五十一、(TPAMI 2022) EA 外部注意力

paper：Beyond Self-Attention: External Attention Using Two Linear Layers for Visual Tasks

Code：https://github.com/MenghaoGuo/-EANet

论文首先指出了现有的自注意力机制缺陷：计算复杂度高： 自注意力机制的计算复杂度为 O(N^2)，难以直接应用于图像等大规模输入。忽略样本间关系： 自注意力机制仅关注单个样本内部元素之间的关系，忽略了不同样本之间的潜在关联，限制了其能力和灵活性。所以这篇论文提出一种 外部注意力（External Attention），希望通过外部注意力机制学习更具代表性的特征，同时降低计算成本。

EA 结构图：

2、(CVPR 2023) TKSA Top-K稀疏注意力

原文地址：(即插即用模块-Attention部分) 五十二、(CVPR 2023) TKSA Top-K稀疏注意力

paper：Learning A Sparse Transformer Network for Effective Image Deraining

Code：https://github.com/cschenxiang/DRSformer

标准 Transformer 中的自注意力机制在图像去雨任务中存在一些局限性：全局信息交互：标准自注意力对所有查询-键对进行计算，容易引入无关信息，干扰特征聚合，影响图像细节恢复。冗余特征：全连接计算模式放大了较小的相似度权重，导致特征交互和聚合过程易受噪声影响，产生冗余或不相关的特征表示。为了解决这些问题，这篇论文提出一种 Top-k稀疏注意力（Top-K Sparse Attention）。

TKSA Top-K稀疏注意力 结构图：

3、(2023) MCA 多维度协同注意力

原文地址：(即插即用模块-Attention部分) 五十三、(2023) MCA 多维度协同注意力

paper：MCA:Multidimensional collaborative attention in deep convolutional neural networks for image recognition

Code：https://github.com/ndsclark/MCANet

现有的注意力机制大多只关注通道维度或空间维度，忽略了它们之间的交互作用。而空间特征交互对于更准确地定位和识别感兴趣的目标至关重要。此外，现有的注意力机制往往引入了较高的模型复杂性和计算负担，限制了其在资源受限设备上的应用。所以，这篇论文提出一种 多维度协同注意力（Multidimensional Collaborative Attention）。MCA 通过提出了一种轻量级且高效的多维协同注意力机制，通过三个分支结构同时推理通道、高度和宽度维度上的注意力。每个分支分别负责捕获特征在不同维度之间的相关性。

MCA 结构图：

4、(ICCV 2023) ESSA 高效SCC核自注意力

原文地址：(即插即用模块-Attention部分) 五十四、(ICCV 2023) ESSA 高效SCC核自注意力

paper：ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution

Code：https://github.com/rexzhan/essaformer

在为高光谱图像超分辨率任务设计的自注意力机制研究中，通常包含以下几点不足：高光谱图像的特性： 高光谱图像包含丰富的光谱和空间信息，而传统自注意力机制无法有效利用这些信息。计算复杂度问题： 传统自注意力机制的计算复杂度为 O(N^2)，其中 N 为序列长度，这在高分辨率高光谱图像中会导致巨大的计算负担。数据效率问题： 高光谱图像数据获取困难，难以构建大规模训练数据集，导致模型训练效率低下。为了有效缓解这些问题，这篇论文提出一种 高效SCC核自注意力（Spectral Correlation Coefficient of Spectrum-kernel-based Self-Attention），其旨在解决传统自注意力机制在高光谱图像中存在的计算复杂度高、数据效率低的问题。

ESSA 结构图：

5、(2023) ESRA 高效空间压缩注意力

原文地址：(即插即用模块-Attention部分) 五十五、(2023) ESRA 高效空间压缩注意力

paper：SUnet: A multi-organ segmentation network based on multiple attention

Code：https://github.com/XSforAI/SUnet

在现有的研究中， 虽然Transformer在捕捉长距离依赖关系方面表现出色，但其模型参数量大、计算复杂度高，容易过拟合，限制了其在计算资源有限的场景下的应用。而现有改进方法的不足：如Swin Transformer，主要通过减少模型层数或注意力头数量来降低参数量和计算复杂度，但这种方法会牺牲模型的性能。为此，论文提出一种 高效空间压缩注意力（Efficient Spatial Reduction Attention），ESRA 通过使用卷积操作压缩多头自注意力（MHSA）中的键和值，从而降低模型参数量和计算复杂度，同时缓解过拟合问题。

ESRA 结构图：

6、(2023 WACV) Skip Attention 跳跃注意力

原文地址：(即插即用模块-Attention部分) 五十六、(2023 WACV) Skip Attention 跳跃注意力

paper：Attention Attention Everywhere: Monocular Depth Prediction with Skip Attention

Code：https://github.com/ashutosh1807/PixelFormer

现有方法在融合编码器和解码器特征时，通常使用特征图拼接以及卷积操作，但卷积核权重固定，限制了语义信息的流动，导致深度预测不准确。为此，这篇论文提出一种 跳跃注意力（Skip Attention），Skip Attention 旨在解决这个问题，通过窗口化交叉注意力机制，有效地融合编码器和解码器特征，提高深度预测的准确性。

Skip Attention 结构图：

7、(2023) TabAttention

原文地址：(即插即用模块-Attention部分) 五十七、(2023) TabAttention

paper：TabAttention: Learning Attention Conditionally on Tabular Data

Code：https://github.com/SanoScience/Tab-Attention

在处理临床数据时，由于临床数据通常包含图像和表格数据，但现有的方法通常将它们分开处理，限制了信息交互和知识转移。同时，注意力机制已被证明可以显著提高深度学习模型的性能，但很少有研究将注意力模块与表格数据相结合。所以这篇论文提出一种 TabAttention 。旨在通过引入表格数据来增强卷积神经网络 (CNN) 的性能。

TabAttention 的核心思想是延展卷积块注意力模块 (CBAM) 到时间维度，通过添加了一个时间注意力模块 (TAM) 来学习注意力图。此外，该模块利用来自图像特征图和表格数据嵌入的池化信息来生成注意力图，包括通道注意力图、空间注意力图和时间注意力图。

TabAttention 结构图：

8、(2024 ICME) PPA 并行化补丁感知注意力

原文地址：(即插即用模块-Attention部分) 五十八、(2024 ICME) PPA 并行化补丁感知注意力

paper：HCF-Net: Hierarchical Context Fusion Network for Infrared Small Object Detection

Code：https://github.com/zhengshuchen/HCFNet

红外小目标检测是一项重要的计算机视觉任务，涉及到对红外图像中微小目标的识别和定位，而红外图像通常只包含几个像素。由于红外图像中目标的尺寸小，背景复杂等原因，使得红外图像处理技术遇到了困难。论文提出了一种 并行化补丁感知注意力（Parallelized Patch-Aware Attention）。在红外小目标检测任务中，小目标在多次下采样过程中容易丢失重要信息。而 PPA 的提出则替代了编码器和解码器基本组件中的传统卷积。

PPA 结构图：

9、(ECCV 2024) Agent Attention 代理注意力

原文地址：(即插即用模块-Attention部分) 五十九、(ECCV 2024) Agent Attention 代理注意力

paper：Agent Attention: On the Integration of Softmax and Linear Attention

Code：https://github.com/LeapLabTHU/Agent-Attention

自Vision Transformer问世以来，自注意力在计算机视觉领域取得了显著的进步。然而，之后的对于自注意力的研究都不可避免地限制了自注意力的全局接受域，阻碍了模型对远程关系进行建模的能力。

而对于线性注意力，其与限制感受野的思想相反，是通过降低计算复杂度直接解决了计算挑战。在先前的线性注意力的研究中，像是采用深度卷积来保持特征多样性的方法虽然是有效的，但它们仍存在线性注意力有限的表达能力问题。

基于此，论文提出了一种新的注意力 Agent Attention。其创新性地引入了一组额外的令牌A的注意三元组（Q，K，V），并产生一种表示为四元组（Q，A，K，V）的代理注意力将代理令牌A的附加集合引入到传统注意力模块中。代理令牌首先充当查询令牌Q的代理，以聚集来自K和V的信息，然后将该信息广播回Q。假设代理令牌的数量可以设计为远小于查询令牌的数量，则代理注意力比广泛采用的Softmax注意力明显更有效，同时还能保持全局上下文建模能力。此外，论文还论证了所提出的 Agent Attention 等价于线性注意的一种推广形式。

Agent Attention 结构：

10、(2024) SCSA 空间通道协同注意力

原文地址：(即插即用模块-Attention部分) 六十、(2024) SCSA 空间通道协同注意力

paper：SCSA: Exploring the Synergistic Effects Between Spatial and Channel Attention

Code：https://github.com/HZAI-ZJNU/SCSA

通道和空间注意力分别为各种下游视觉任务的特征依赖性和空间结构关系提取带来了显著的改进。虽然两者的组合更有利于发挥各自的优势，但通道和空间注意力之间的协同作用尚未得到充分探索，还缺乏充分利用多语义信息的协同潜力，所以，论文提出一种新的 空间通道协同注意力模块（SCSA）。SCSA由两部分组成：**Shared Multi-Semantic Spatial Attention（SMSA ）**和 Progressive Channel-wise Self-Attention（PCSA ）。其中，SMSA 用于集成多语义信息，并利用渐进压缩策略将区分性空间先验注入到PCSA的通道自注意力中，有效将通道重新校准。而 PCSA 中基于自注意力机制的鲁棒特征交互则进一步缓解了SMSA中不同子特征之间的多语义信息差异。

SCSA 结构图：