当前位置：首页 > news >正文

【即插即用涨点模块】RFAConv感受野注意力卷积：突破卷积参数共享瓶颈，感受野注意力重塑空间特征提取【附源码】

news 来源：原创 2025/5/12 15:42:48

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】	10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】	12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】	14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】	16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】	18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】	20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】	22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】	24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】	26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】	28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】	30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】	32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】	34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】	38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】	40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】	42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】	44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】	46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】	48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】	50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】	52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】	54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】	56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】	58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】	60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】	62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】	64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】	66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】	68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】	70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】	72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】	74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】	76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】	78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】	80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】	82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】	84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】	86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】	88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】	90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】	92.【基于深度学习的皮肤癌智能检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

论文信息

在这里插入图片描述

论文地址：https://arxiv.org/pdf/2304.03198.pdf
代码地址：https://github.com/Liuchen1997/RFAConv

摘要

论文提出了一种新型感受野注意力机制(RFA)和对应的卷积操作RFAConv，用于解决传统卷积核参数共享的固有缺陷。现有空间注意力机制（如CBAM和CA）仅关注空间特征，而RFA同时关注感受野空间特征并为大尺寸卷积核提供有效权重。RFAConv作为标准卷积的替代方案，在计算成本和参数增量可忽略的情况下显著提升网络性能。实验在ImageNet-1k、COCO和VOC数据集上验证了其优越性，并指出应将空间注意力的关注点转向感受野空间特征以进一步提升性能。
在这里插入图片描述

方法

标准卷积分析：指出参数共享导致无法捕捉位置差异信息
空间注意力局限：传统方法（如CBAM）的注意力权重在感受野内共享，无法解决大卷积核的参数共享问题
RFA设计：
- 通过GroupConv快速提取感受野特征（相比Unfold提速30%）
- 使用AvgPool聚合全局信息，Softmax强调感受野内特征重要性
架构改进：
- 提出RFCBAMConv和RFCAConv，将注意力转向感受野空间特征
- 采用stride=k的k×k卷积处理调整后的特征

创新点

感受野注意力机制：首次将空间注意力与感受野特征解耦，彻底解决大卷积核参数共享问题
轻量级实现：GroupConv+AvgPool组合比Unfold方法训练时间减少29%
通用改进框架：提出将现有注意力机制（如CBAM/CA）升级为感受野版本的方法
性能突破：在ResNet18上Top1准确率提升1.64%，YOLOv5n的mAP50提升1.7%

RFAConv主要作用

替代标准卷积：直接嵌入现有网络（如ResNet、YOLO）
多任务提升：
- 分类：ImageNet-1k上ResNet34达到74.25% Top1
- 检测：YOLOv8n在COCO上AP50提升1.5%
- 分割：RFCAConv在VOC2012上mIoU达68%
注意力演进：证明感受野空间特征应成为注意力机制的新方向

总结

论文通过理论分析和实验证明：

空间注意力本质是解决卷积参数共享的方案
传统方法因感受野内权重共享而性能受限
RFAConv以可忽略的成本提升各类任务性能（最佳案例：RFCAConv在分割任务提升4.1% mIoU）
未来空间注意力机制应聚焦感受野特征

源码

from torch import nn
from einops import rearrangedef autopad(k, p=None, d=1):  # kernel, padding, dilation"""Pad to 'same' shape outputs."""if d > 1:k = d * (k - 1) + 1 if isinstance(k, int) else [d * (x - 1) + 1 for x in k]  # 计算实际的卷积核大小if p is None:p = k // 2 if isinstance(k, int) else [x // 2 for x in k]  # 自动计算padding值return pclass Conv(nn.Module):"""Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation)."""default_act = nn.SiLU()  # 默认激活函数def __init__(self, c1, c2, k=1, s=1, p=None, g=1, d=1, act=True):"""Initialize Conv layer with given arguments including activation."""super().__init__()self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groups=g, dilation=d, bias=False)  # 初始化卷积层self.bn = nn.BatchNorm2d(c2)  # 初始化批归一化层self.act = self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity()  # 初始化激活函数def forward(self, x):"""Apply convolution, batch normalization and activation to input tensor."""return self.act(self.bn(self.conv(x)))  # 前向传播：卷积 -> 批归一化 -> 激活def forward_fuse(self, x):"""Perform transposed convolution of 2D data."""return self.act(self.conv(x))  # 融合后的前向传播：卷积 -> 激活class RFAConv(nn.Module):def __init__(self, in_channel, out_channel, kernel_size=3, stride=1):super().__init__()self.kernel_size = kernel_size  # 卷积核大小# 获取权重的网络结构self.get_weight = nn.Sequential(nn.AvgPool2d(kernel_size=kernel_size, padding=kernel_size // 2, stride=stride),  # 平均池化层nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=1,groups=in_channel, bias=False)  # 卷积层，用于生成权重)# 生成特征的网络结构self.generate_feature = nn.Sequential(nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=kernel_size,padding=kernel_size // 2, stride=stride, groups=in_channel, bias=False),  # 卷积层，用于生成特征nn.BatchNorm2d(in_channel * (kernel_size ** 2)),  # 批归一化层nn.ReLU()  # 激活函数)# 最终的卷积层self.conv = Conv(in_channel, out_channel, k=kernel_size, s=kernel_size, p=0)def forward(self, x):b, c = x.shape[0:2]  # 获取输入张量的批量大小和通道数weight = self.get_weight(x)  # 生成权重h, w = weight.shape[2:]  # 获取权重张量的高度和宽度# 对权重进行reshape并应用softmaxweighted = weight.view(b, c, self.kernel_size ** 2, h, w).softmax(2)# 生成特征并进行reshapefeature = self.generate_feature(x).view(b, c, self.kernel_size ** 2, h, w)# 对特征和权重进行乘法操作weighted_data = feature * weighted# 使用einops库对张量进行重排conv_data = rearrange(weighted_data, 'b c (n1 n2) h w -> b c (h n1) (w n2)', n1=self.kernel_size,n2=self.kernel_size)# 应用最终的卷积层return self.conv(conv_data)