最新Kolmogorov-Arnold网络架构下的KANConv
一、最新Kolmogorov-Arnold网络架构下的KANConv
1、Kolmogorov_Arnold网络,该架构将该网络KANS的非线性激活函数,整合到卷积层中,代替传统的CNN中的卷积函数去非线性变换、
2、KANConv层引入了更多参数,每个卷积核都需要额外学习函数,能够更好的捕获数据中的空间关系,
摘要,引入卷积KolmogroovAnold网络KANS网络,他是标准的卷积神网络,
KANS网络提出非线性激活函数,将其整合到卷积操作中,
使用KANS是,KANS的非线性激活函数和CNN的创新架构,
一、KKAN
1、输入层,接受原始图像,
2、Kanconv,两次卷积操作,通道数5,卷积核33
3、最大池化层,22的池化核,目的降低特征尺寸
4、flatten,展平操作,将二位转化为一位
5、Kanliner,全连接层,输入维度625,输出维度10,用于分类
’
二、KanconBNMLP2
1、输入层,
2、Kanconv,通道5卷积核3*3
3、batchnorm2d,批量归一化对卷积的输出进行归一化,通道数5
4、Kanconv,,继续Kanc卷积层
5、,Batchonorm2d,批量归一化,通道数25
6、Maxpool2d,,最大池化,缩小特征量
6、flatten,展平降维
7、Linear,全连接层,输入625,输出256,给特征映射到更高的维度,
8、linear,全连接层,输入256,输出10,完成分类
三、原理,
1、背景,Kans,新的架构,将多变量函数,表示变为单变量函数的组合,使用可学习的模型提升性能,
2、应用,KANs通过可学习的样条函数区替代传统的神经网络的线性权重矩阵,让网络在保持高准确率的同时ui降低参数量
3、KANs卷积,是将KANs和CNN两者结合起来,随后i将KANs架构,应用于卷积操作中–
卷积KAns的卷积核可学习非线性函数,可以根据数据动态的调制更好的非线性
4、卷积效率,Kans,明显的减少了参数量,准确率基本相同,
四、总结
卷积KAns与CNN正确率相近,参数量减半,使用更少的参数,处理非线性关系更好