8.19打卡 DAY 46 通道注意力(SE注意力)

DAY 46: 通道注意力机制——让模型学会“抓重点”

欢迎来到第46天的学习！今天，我们将深入一个让现代神经网络变得更“聪明”的核心概念：注意力机制 (Attention Mechanism)。我们会以其中一个非常经典且高效的模块——通道注意力 (Channel Attention)，也称为SE注意力 (Squeeze-and-Excitation)——为例，详细讲解其原理、如何将其集成到我们已有的CNN模型中，并通过可视化来直观地感受它的作用。

1. 什么是注意力 (Attention)？

在认知科学中，注意力指的是人类选择性地关注部分信息，而忽略其他信息的认知过程。深度学习中的注意力机制正是借鉴了这一思想，它赋予了模型一种能力，使其能够在处理大量输入数据时，动态地、有选择性地关注更重要的特征。

核心思想：注意力机制不是对所有输入信息一视同仁，而是通过学习一组动态的权重，对输入特征进行加权，从而放大关键信息、抑制次要信息。

输出 = Σ (输入特征 × 注意力权重)

问：注意力机制和卷积有什么区别？

• 卷积：可以看作是一种固定权重的特征提取器。一个3x3的卷积核一旦训练完成，它的权重就固定了，它会在整张图片上用同样的方式去寻找特定的模式（如边缘、角点）。
• 注意力：是一种动态权重的特征提取器。它的权重是根据输入数据本身实时计算出来的。对于不同的输入图片，注意力模块会“认为”不同的区域或特征是重要的，并赋予它们更高的权重。

问：为什么会有通道、空间等多种注意力模块？

这就像一个动物园，里面有各种各样的动物（模块），它们各自有不同的生存技能（功能）。自注意力（Self-Attention）因为开创了Transformer时代而备受瞩目，但它只是注意力大家族中的一个分支。之所以需要多种注意力，是因为不同任务关注的信息维度不同：

• 通道注意力 (Channel Attention)：关注**“什么”**更重要。一张图片的特征图包含很多通道，每个通道可能代表一种特定的特征（如颜色、纹理）。通道注意力的作用就是给这些通道打分，告诉模型哪些特征对当前任务更关键。
• 空间注意力 (Spatial Attention)：关注**“哪里”**更重要。它在特征图的空间维度上生成权重，让模型聚焦于图像中包含关键物体的区域，忽略无关的背景。
• 混合注意力 (CBAM等)：同时结合通道和空间注意力，既关心“什么”，也关心“哪里”。

注意力模块	所属类别	核心功能
自注意力	自注意力变体	建模同一输入内部元素（如单词、图像块）之间的依赖关系。
通道注意力	普通注意力变体	建模特征图通道间的重要性。
空间注意力	普通注意力变体	建模特征图空间位置的重要性。
多头注意力	自注意力的增强版	将注意力计算分散到多个“子空间”，捕捉多维度依赖。

今天，我们就以通道注意力为例，一探究竟。

---

2. 特征图回顾——注意力的作用对象

在深入注意力模块之前，我们首先要明确它的作用对象——特征图 (Feature Maps)。

在昨天的课程中，我们已经学习了如何可视化CNN在不同卷积层输出的特征图。我们再来回顾一下其中的关键信息：

• 浅层卷积层 (如 conv1)：提取的是低级特征，如边缘、颜色、纹理。这些特征图在视觉上与原图较为接近，保留了较多细节。
• 中层卷积层 (如 conv2)：组合低级特征，形成更复杂的中级特征，如物体的局部形状（眼睛、轮廓）。
• 深层卷积层 (如 conv3)：进一步组合，形成高度抽象的高级语义特征，这些特征与最终的分类决策直接相关，但人眼已很难直接理解。

特征图可视化代码解释 (visualize_feature_maps)

这段代码通过PyTorch的钩子函数 (Hook) 实现了特征图的可视化，其逻辑如下：

1. 注册钩子：module.register_forward_hook(hook) 为我们指定的层（如conv1, conv2）注册一个“前向钩子”。这个钩子函数会在模型进行前向传播、执行完该层计算后被自动触发。
2. 捕获特征图：钩子函数 hook 的作用很简单，就是将该层的输出（即特征图）保存到一个全局字典 feature_maps 中。
3. 前向传播：model(images) 正常执行前向传播，这个过程会触发所有已注册的钩子，从而填充 feature_maps 字典。
4. 移除钩子：hook_handle.remove() 在完成特征提取后移除钩子，这是个好习惯，可以防止不必要的内存占用。
5. 可视化：最后，代码遍历捕获到的特征图，并使用 matplotlib 将它们绘制出来。其中 inset_axes 用于在一个大的子图区域内绘制更小的网格图，使布局更美观。

结果分析 (以青蛙图片为例)

观察上图，我们可以清晰地看到特征逐层抽象的过程：

• conv1 的特征图保留了青蛙和背景的清晰轮廓。
• conv2 的特征图开始变得模糊，但某些通道明显聚焦于青蛙的身体部分。
• conv3 的特征图已经非常抽象，但高亮区域（黄色）正是模型用来判断“这是一只青蛙”的关键语义信息。

现在，我们的问题是：能否让模型自动学会放大那些包含“关键语义信息”的通道，同时抑制那些只包含背景或噪声的通道呢？ 这就是通道注意力的用武之地。

---

3. 通道注意力 (SE Block) 深入解析

通道注意力机制最经典的实现之一就是Squeeze-and-Excitation (SE) 模块。它能让网络自适应地重新校准（recalibrate）每个特征通道的重要性。

它的工作流程分为三个步骤：

1. Squeeze (压缩)：对输入的特征图（尺寸为 C x H x W）进行全局平均池化，将其在空间维度上“压缩”成一个 C x 1 x 1 的向量。这个向量的每个元素可以看作是对应通道特征图的全局“感受野”，代表了这个通道的整体响应强度。

2. Excitation (激发)：将压缩后的向量送入一个由两个全连接层构成的“瓶颈”结构中。

   • 第一个全连接层进行降维（例如，从C维降到C/16维），以减少计算量和参数。
   • 经过一个ReLU激活函数。
   • 第二个全连接层再进行升维，恢复到原来的C维。
   • 最后通过一个Sigmoid激活函数，将输出值归一化到 0 到 1 之间。这个输出向量就代表了每个通道的重要性权重。

3. Reweight (重加权)：将学习到的通道权重（Excitation的输出）与原始的输入特征图进行逐通道相乘。这样，重要的通道特征会被放大，不重要的通道特征则会被抑制。

代码解释 (ChannelAttention 类)

我们来逐行解析这个模块的PyTorch实现。

class ChannelAttention(nn.Module):def __init__(self, in_channels, reduction_ratio=16):super(ChannelAttention, self).__init__()# 1. Squeeze操作：使用自适应平均池化，输出尺寸固定为1x1self.avg_pool = nn.AdaptiveAvgPool2d(1)# 2. Excitation操作：一个包含两个全连接层的序列self.fc = nn.Sequential(# 第一个FC层：降维，从 in_channels -> in_channels / 16nn.Linear(in_channels, in_channels // reduction_ratio, bias=False),nn.ReLU(inplace=True),# 第二个FC层：升维，恢复到 in_channelsnn.Linear(in_channels // reduction_ratio, in_channels, bias=False),# Sigmoid输出0-1之间的权重nn.Sigmoid())def forward(self, x):# x 的形状: [batch_size, channels, height, width]b, c, _, _ = x.size()# Squeeze: [b, c, h, w] -> [b, c, 1, 1]y = self.avg_pool(x)# 展平以便送入FC层: [b, c, 1, 1] -> [b, c]y = y.view(b, c)# Excitation: [b, c] -> [b, c] (经过两个FC层得到权重)y = self.fc(y)# 调整形状以便与原特征图相乘: [b, c] -> [b, c, 1, 1]y = y.view(b, c, 1, 1)# 3. Reweight: 原始特征图 x 与通道权重 y 逐通道相乘return x * y.expand_as(x) # expand_as确保权重在H和W维度上广播

---

4. 在CNN中集成通道注意力

将定义好的ChannelAttention模块插入到我们原有的CNN模型中非常简单。通常，我们会把它放在每个卷积块的激活函数之后、池化层之前。

模型重新定义代码解释

class CNN(nn.Module):def __init__(self):super(CNN, self).__init__()# --- 第一个卷积块 ---self.conv1 = nn.Conv2d(3, 32, 3, padding=1)self.bn1 = nn.BatchNorm2d(32)self.relu1 = nn.ReLU()# >>> 在此插入通道注意力模块 <<<self.ca1 = ChannelAttention(in_channels=32)self.pool1 = nn.MaxPool2d(2, 2)# ... (conv2, conv3同样处理) ...def forward(self, x):# --- 卷积块1处理 ---x = self.conv1(x)x = self.bn1(x)x = self.relu1(x)# >>> 在此处应用通道注意力 <<<x = self.ca1(x)x = self.pool1(x)# ... (forward中同样应用ca2, ca3) ...return x

通过这样的插入，模型在每次池化降维之前，都会先对特征通道进行一次“筛选”，这有助于将最重要的信息传递给下一层。

训练结果对比

模型	最终测试集准确率 (50 epochs)
原始CNN	84.68%
CNN + 通道注意力	85.38%

可以看到，加入通道注意力后，模型的性能有了小幅但稳定的提升。在更复杂的数据集和模型上，这种提升通常会更加明显。这证明了让模型学会“抓重点”是行之有效的。

---

5. 可视化注意力热力图

为了更直观地理解通道注意力的作用，我们可以可视化注意力热力图。它能告诉我们，模型认为哪些通道对于识别当前图像最重要，以及这些“重要通道”主要关注了图像的哪些区域。

注意力热力图可视化代码解释 (visualize_attention_map)

这段代码的逻辑与特征图可视化类似，但增加了权重的概念：

1. 捕获特征图：同样使用钩子函数捕获最后一个卷积块的输出特征图 (feature_map)。
2. 计算通道权重：torch.mean(feature_map, dim=(1, 2)) 对每个通道进行全局平均池化，得到一个近似的通道重要性分数。
3. 排序：torch.argsort 找出权重最高的通道索引。
4. 生成热力图：
   • 取出权重最高的几个通道对应的2D特征图。
   • 使用 scipy.ndimage.zoom 将这些小尺寸的特征图上采样到和原始图像一样大。
   • 将上采样后的特征图作为热力图（红色代表高激活值，蓝色代表低激活值），半透明地叠加到原始图像上。

热力图分析

观察上图，我们可以得出结论：

• 高关注区域（红色）：代表了模型在做决策时，最关注的图像区域。在青蛙的例子中，权重最高的几个通道（如通道106, 126, 85）的热力图都准确地聚焦在了青蛙的身体轮廓上。
• 通道分工：不同的重要通道可能关注了物体的不同方面。比如一个通道关注头部，另一个通道关注身体纹理。
• 模型解释性：这种可视化极大地增强了模型的可解释性。我们可以自信地说：“模型之所以认为这是青蛙，是因为它重点关注了这些区域的特征。” 这对于调试模型、建立信任非常有价值。

---

@浙大疏锦行