当前位置：首页 > news >正文

【Pytorch学习笔记】模型模块07——hook实现Grad-CAM

news 来源：原创 2025/6/4 23:24:52

Grad-CAM实现

Grad-CAM (Gradient-weighted Class Activation Mapping) 是一种用于可视化深度神经网络决策的技术，特别适用于CNN网络。它能够生成热力图来显示模型在做出特定预测时关注的图像区域。

原理

利用目标类别相对于特征图的梯度信息
通过反向传播获取梯度，计算每个特征图的重要性权重
将权重与特征图相乘并叠加，生成类激活热力图

主要作用

模型可解释性：直观展示模型的决策依据
模型诊断：帮助发现模型是否关注了正确的特征
模型改进：基于可视化结果优化模型结构和训练策略

Grad-CAM计算公式详解

Grad-CAM的计算过程可以分为以下几个关键步骤：

1. 特征图权重计算

对于目标类别c，特征图k的权重α计算公式为：

$α_k^c = \frac{1}{Z} \sum_i \sum_j \frac{\partial y^c}{\partial A_{ij}^k}$

其中：

y^c 是目标类别c的得分
A_{ij}^k 是第k个特征图在位置(i,j)的激活值
Z是特征图的空间维度（宽×高）

2. 特征图加权求和

类激活图L的计算公式为：

$L_{Grad-CAM}^c = ReLU(\sum_k α_k^c A^k)$

其中：

ReLU确保我们只关注对目标类别有正向贡献的特征
α_k^c 是第k个特征图的权重
A^k 是第k个特征图

3. 归一化处理

最后，对类激活图进行归一化处理：

$L_{normalized} = \frac{L_{Grad-CAM}^c - min(L_{Grad-CAM}^c)}{max(L_{Grad-CAM}^c) - min(L_{Grad-CAM}^c)}$

这个归一化过程确保最终的热力图值域在[0,1]之间，便于可视化和解释。

实现步骤

import torch
import torch.nn.functional as F
from torchvision import models, transforms
import cv2
import numpy as npclass GradCAM:def __init__(self, model, target_layer):self.model = modelself.target_layer = target_layerself.gradients = Noneself.features = None# 注册钩子target_layer.register_forward_hook(self.save_features)target_layer.register_full_backward_hook(self.save_gradients)def save_features(self, module, input, output):self.features = outputdef save_gradients(self, module, grad_input, grad_output):self.gradients = grad_output[0]def generate_cam(self, input_image, target_class):# 前向传播model_output = self.model(input_image)# 清除现有梯度self.model.zero_grad()# 反向传播target = model_output[0][target_class]target.backward()# 计算权重weights = torch.mean(self.gradients, dim=(2, 3))# 生成CAMcam = torch.sum(weights[:, :, None, None] * self.features, dim=1)cam = F.relu(cam)  # ReLU激活# 归一化cam = cam - torch.min(cam)cam = cam / torch.max(cam)return cam.detach().cpu().numpy()

使用示例：

# 加载预训练模型
model = models.resnet50(pretrained=True)
target_layer = model.layer4[-1]  # 使用最后一个残差块# 创建GradCAM实例
grad_cam = GradCAM(model, target_layer)# 准备输入图像
image = ...  # 输入图像预处理
input_tensor = transforms.ToTensor()(image).unsqueeze(0)# 生成热力图
cam = grad_cam.generate_cam(input_tensor, target_class=285)  # 假设目标类别是285# 可视化结果
cam_image = cv2.resize(cam[0], (224, 224))
heatmap = cv2.applyColorMap(np.uint8(255 * cam_image), cv2.COLORMAP_JET)
original_image = ...  # 原始图像
result = heatmap * 0.3 + original_image * 0.7