【DINOv3教程2-热力图】使用DINOv3直接生成图像热力图【附源码与详解】

《博主简介》

小伙伴们好，我是阿旭。
专注于计算机视觉领域，包括目标检测、图像分类、图像分割和目标跟踪等项目开发，提供模型对比实验、答疑辅导等。

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】	10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】	12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】	14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】	16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】	18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】	20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】	22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】	24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】	26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】	28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】	30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】	32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】	34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】	38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】	40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】	42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】	44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】	46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】	48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】	50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】	52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】	54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】	56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】	58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】	60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】	62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】	64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】	66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】	68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】	70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】	72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】	74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】	76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】	78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】	80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】	82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】	84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】	86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】	88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】	90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】	92.【基于深度学习的皮肤癌智能检测与语音提示系统】
93.【基于深度学习的工业压力表智能检测与读数系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

上一篇文章《【DINOv3教程1-图像分割】使用DINOv3+逻辑回归器进行图像前景分割【附源码】》介绍了如何使用DINOv3进行图像分割。
本文主要介绍如何使用DINOv3视觉Transformer模型进行图像patch相似性热力图分析。
它能够加载一张图像，使用预训练的DINOv3模型提取图像中各个patch的特征表示，然后计算指定patch与其他所有patch之间的余弦相似性，并以热力图的形式可视化这些相似性关系。这种分析可以帮助理解模型如何感知图像中不同区域之间的语义相似性，对于计算机视觉任务如图像分割、目标检测等具有重要意义。

主要步骤

1. 导入必要的库

import torch
import torchvision.transforms as transforms
import torch.nn.functional as F
from transformers import pipeline
from transformers.image_utils import load_image
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.patches as patches

导入深度学习、图像处理、数值计算和可视化相关的库。

2. 相似性计算函数

def compute_patch_similarity_heatmap(patch_features, H, W, target_patch_coord):"""计算指定patch与其他所有patch的余弦相似性，并生成热力图Args:patch_features: patch特征张量, shape (1, num_patches, feature_dim)H: patch网格高度W: patch网格宽度target_patch_coord: 目标patch坐标 (h_idx, w_idx)Returns:heatmap: 相似性热力图, shape (H, W)"""# 检查输入特征数量是否与网格尺寸匹配assert patch_features.shape[1] == H * W, f"特征数量{H * W}与网格大小{H}x{W}不匹配"# 提取目标patch的特征target_idx = target_patch_coord[0] * W + target_patch_coord[1]target_feature = patch_features[0, target_idx]  # shape (feature_dim,)# 使用余弦相似性计算目标特征与所有patch特征之间的相似度similarities = F.cosine_similarity(target_feature.unsqueeze(0),  # shape (1, feature_dim)patch_features[0],  # shape (num_patches, feature_dim)dim=1)# 将一维相似性向量重塑为二维热力图heatmap = similarities.reshape(H, W).cpu().numpy()return heatmap

这个函数计算指定目标patch与所有其他patch的余弦相似性：

• 通过坐标计算目标patch在特征序列中的索引
• 使用F.cosine_similarity计算目标特征与所有特征的相似性
• 将一维相似性向量重塑为二维热力图格式(H×W)

3. 热力图可视化函数

def plot_similarity_heatmap(heatmap, target_patch_coord):"""绘制相似性热力图，并在目标patch位置显示红点Args:heatmap: 相似性热力图, shape (H, W)target_patch_coord: 目标patch坐标 (h_idx, w_idx)"""H, W = heatmap.shapefig, ax = plt.subplots(1, 1, figsize=(10, 8))# 显示热力图im = ax.imshow(heatmap, cmap='viridis', aspect='equal')# 在目标patch位置添加红点target_h, target_w = target_patch_coordax.plot(target_w, target_h, 'ro', markersize=10, markeredgecolor='white', markeredgewidth=2)# 添加颜色条，使其与图像高度对齐cbar = plt.colorbar(im, ax=ax, label='Cosine Similarity', shrink=0.7)cbar.ax.tick_params(labelsize=8)  # 调整颜色条刻度标签大小# 设置坐标轴标签和标题ax.set_xlabel('Width (patch index)')ax.set_ylabel('Height (patch index)')ax.set_title(f'Cosine Similarity to Patch at ({target_h}, {target_w})')# 设置网格线ax.set_xticks(np.arange(-0.5, W, 1), minor=True)ax.set_yticks(np.arange(-0.5, H, 1), minor=True)ax.grid(which="minor", color="white", linestyle='-', linewidth=0.5)ax.tick_params(which="minor", size=0)# 设置主刻度ax.set_xticks(np.arange(0, W, max(1, W // 10)))ax.set_yticks(np.arange(0, H, max(1, H // 10)))# 调整刻度标签大小ax.tick_params(axis='both', which='major', labelsize=8)plt.tight_layout()plt.show()return fig, ax

用于绘制相似性热力图，提供了单独显示热力图的功能。

4. 图像加载和预处理

url = "test1.jpg"
image = load_image(url)
original_image = np.array(image)
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
tensor_image = transform(image).unsqueeze(0)

• 加载原始图像并保存副本用于显示
• 将PIL图像转换为PyTorch张量并进行标准化处理
• 添加批次维度以适配模型输入要求

5. DINOv3模型加载

# 加载预训练的ViT模型（DINOv3）
from transformers import ViTModel
model = ViTModel.from_pretrained(r'D:\7studying\DinoV3_Study\dinov3-main\PreModels\dinov3-vitl16-pretrain-sat493m',local_files_only=True
)

加载本地预训练的DINOv3模型，这是一个大型视觉Transformer模型。此处加载的是dinov3-vitl16-pretrain-sat493m模型。

6. 特征提取和相似性计算

with torch.inference_mode():outputs = model(tensor_image, output_hidden_states=True, interpolate_pos_encoding=True)patch_features = outputs.last_hidden_state[:, 1:, :]# 直接从模型输出获取patch特征（去掉CLS token）patch_features = outputs.last_hidden_state[:, 1:, :]  # 去掉CLS tokenprint("patch_features.shape: ", patch_features.shape)print("(H, W):", H, W)# 取目标patch，进行相似性计算target_h = 24target_w = 27target_patch_coord = (target_h, target_w)# 计算相似性热力图并绘制heatmap = compute_patch_similarity_heatmap(patch_features, H, W, target_patch_coord)

• 使用torch.inference_mode()提高推理效率
• interpolate_pos_encoding=True允许处理任意尺寸图像
• 提取patch特征（去除CLS token）
• 计算指定目标patch(24,27)与所有patch的相似性

7. 结果可视化

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(15, 8))
ax1.imshow(original_image)
im = ax2.imshow(heatmap, cmap='viridis', aspect='equal')

• 创建并排显示的子图
• 左侧显示原始图像
• 右侧显示相似性热力图，颜色越亮表示与目标patch越相似
• 在热力图上标记目标patch位置
• 添加颜色条显示相似性数值范围

总结

本文详细介绍了如何直接使用DinoV3进行图片的热力图可视化。整个流程实现了从图像加载、特征提取到相似性分析和可视化的完整管道，为理解视觉Transformer模型的内部表征提供了直观的工具。

---

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！