注意力机制有哪些，原理是什么

注意力机制有哪些，原理是什么

通道注意力机制

• 原理概述：聚焦于特征图的通道维度，为不同通道分配不同的权重，以突出重要通道的特征信息。
• 示例
  • Efficient Channel Attention (ECA)
    • 原理：不同于SE模块中使用全连接层来学习通道注意力，ECA模块通过一维卷积来生成通道注意力。它利用自适应核大小的一维卷积直接在全局平均池化后的特征上进行操作，以捕获通道间的局部跨通道交互信息，避免了降维操作带来的信息损失，计算效率更高。
    • 应用场景：在图像分类、目标检测等任务中可有效提升模型性能，同时减少计算量。

空间注意力机制

• 原理概述：关注特征图的空间维度，强调特征图中不同空间位置的重要性，通过生成空间注意力图来增强关键区域的特征。
• 示例
  • Spatial Attention Module (S