周学习记录分享
开头小谈:对于论文的学习我还处于起步阶段,很多基础知识还不够牢固,所以我在论文学习中采取的态度是读中学,在论文中出现看不懂的词汇和理解不了的流程再进行查找学习。
一、《用于端到端图像匹配的并发多尺度检测器》
《A Concurrent Multiscale Detector for End-to-EndImage Matching》
原文:用于端到端图像匹配的并发多尺度检测器 |IEEE 期刊和杂志 |IEEE Xplore
https://ieeexplore.ieee.org/document/9852191
文章的主要创新点:
1.并发多尺度检测器
该检测器又称CS-det。该检测器在结构上,使用多个并行的卷积网络,每个网络使用不同大小的卷积核(如3×3、5×5、7×7、9×9),以提取多尺度特征和多层次判别信息。相比单一尺度或单一层次的网络,CS-det能更灵活地融合不同尺度和语义层次的特征,提升关键点的重复性和判别性。
2.注意力模块
在融合多个响应图时,引入注意力机制,为每个响应图自动学习一个权重,以自适应地平衡关键点的重复性和判别性。
3.两种排序一致性损失函数
RC-S-loss:确保匹配的关键点在两幅图像中的得分排序一致,提升关键点的重复性。
核心思想:不仅要确保匹配点对的得分相近,更要确保任意两个关键点在图像A中的得分排序,与它们对应的匹配点在图像B中的得分排序保持一致。
RC-SD-loss:利用描述符提供的判别信息,确保更具判别性的关键点获得更高的得分,提升关键点的判别性。
核心思想:让更具区分度的关键点获得更高的得分。
4.端到端联合训练
检测器和描述符交替训练(通过描述符的判别信息反馈给检测器,增强了二者的协同优化),检测器使用 RC-losses 和图像块损失,描述符使用三元组损失和难样本挖掘策略。
二、《弱监督局部特征学习的共享耦合桥方案》
《Shared Coupling-Bridge Scheme for Weakly Supervised Local Feature Learning》
原文:弱监督局部特征学习的共享耦合桥方案 | IEEE Journals & Magazine | IEEE Xplorehttps://ieeexplore.ieee.org/document/10129857
文章的主要创新点:
1.特征融合ResUNet主干网络
又称F2R-Backbone。其在标准的ResUNet编码器-解码器结构上,增加了一个特征融合模块。该模块将来自编码器深层(富含语义信息)、解码器中层和浅层(富含细节信息)的特征图进行拼接和融合。
2.共享耦合桥归一化
在描述网络和检测网络之间插入一个可学习的交叉归一化层。分两种情况:
训练描述网络时,该层是可学习的,描述网络的损失基于该层的输出计算。
训练检测网络时:该层及整个描述网络被冻结,检测网络使用该层输出的稳定特征进行训练。
3.带有峰值测量的增强检测网络
网络接受三个输入,即原始图像、来自共享桥的特征、来自编码器浅层的特征,充分利用了不同来源的信息。随后引入峰值测量,该模块通过计算每个位置与其邻域在通道和空间上的响应差异,来识别出“突出”的、具有高重复性的点
4.基于基础矩阵误差的新奖励因子
从候选匹配点中,多次随机采样8个点,使用八点法估算基础矩阵 F_hat
,然后计算 F_hat
与真实基础矩阵 F
之间的 Smooth L1 损失。取多次迭代中的最小损失作为最终的基础矩阵误差。
三、《基于高效LoFTR的快速图像拼接方法》
《Fast Image Stiching Method Based on Efficient LoFTR》
原文:基于高效LoFTR的快速图像拼接方法 |IEEE 会议出版物 |IEEE Xplore
https://ieeexplore.ieee.org/document/11064446
文章的主要创新点:
1.动态稀疏机制
在训练过程中逐步将稠密网络转换为稀疏网络,通过掩码层动态调整通道保留与丢弃,最终实现网络稀疏化。
2.缓存机制
缓存上一次的注意力计算结果,若输入相似则直接复用
3.K-means聚类
将匹配点聚类,利用簇的紧凑性判断是否为误匹配,最后将误匹配剔除
本周总结和下周计划
对论文的整个构成有了大致了解。看论文时虽然磕磕绊绊,但是边搜边看也补充了很多基础知识和概念。下周计划开始看论文的代码,装环境,以及尝试对论文进行复现。