层次视觉 Transformer 与分布级特征精炼：面向多模态疾病诊断与机器遗忘的深度学习框架研究

来gongzhonghao【图灵学术计算机论文辅导】，快速拿捏更多计算机SCI/CCF发文资讯～

大模型时代，伴随深度学习卷到飞起的今天，特征提取模块依旧是“永远的首选”。它像一把万能筛子，门槛低到只需改注意力、加掩码、搬最优传输，就能在一两个 epoch 内刷新 SOTA，堪称新手速成顶会的黄金赛道。

本文精心整理了 3 篇前沿论文，旨在助力大家洞悉前沿动态、把握研究思路，满满干货，点击收藏不迷路~

Deep Hierarchies and Invariant Disease-Indicative Feature Learning for Com-puter Aided Diagnosis of Multiple Fundus Diseases

方法：这篇文章针对多种视网膜疾病的自动辅助诊断提出创新方案，通过引入层次视觉变换器结构和前向注意力机制，结合自监督特征学习，有效提升了模型对多类别疾病征象的敏感性和判别力。该方法突破了以往单一特征提取模式的局限，实现了更加智能和鲁棒的医学图像分析。

创新点：

• 提出层次视觉Transformer（HVT），通过前向注意力把低层细节逐层注入高层语义，首次同时建模跨层与层内依赖，显著提升复杂病灶刻画能力。

• 设计掩码一致特征自监督学习模块（MCFL），用师生网络从随机遮挡图像中重建稳定疾病特征，克服不同病变尺度与阶段差异带来的干扰。

• 构建CNN-Transformer混合架构，将VGG-19提取的多尺度特征与Transformer全局建模优势无缝融合，实现局部细节与全局语境的互补增强。

总结：模型先用VGG-19抽取三层多粒度特征，再由带前向注意力的HVT逐级融合；同时MCFL让教师网络输出掩码不变的疾病特征作为伪标签，指导学生网络在遮挡输入下复原一致表示；最终把HVT的层次特征与MCFL的鲁棒特征拼接后送入MLP，实现端到端的多标签眼病分类。

Distribution-Level Feature Distancing for Machine Unlearning: Towards a Better Trade-off Between Model Utility and Forgetting

方法：这篇文章针对深度学习模型中的遗忘机制，提出了一种分布级特征区分方法，实现了在保证模型效用的前提下高效地遗忘敏感数据。通过优化特征空间的分布距离，有效平衡了遗忘和保留相关知识之间的权衡。该方法不仅提升了遗忘效率，还最大程度地减少了对模型原有性能的负面影响。

创新点：

• 首创分布级特征距离度量用于指导模型遗忘，突破传统单样本特征操作的局限。

• 提出特征相关性保持机制，防止遗忘过程损害有用知识。

• 在遗忘与效用间实现更优权衡，理论和实证上均优于现有方法。

总结：文章通过分析特征空间的分布变化，设计出一种基于最优传输的特征迁移策略，实现了对遗忘数据的有效分离。实验结果表明，分布级特征区分不仅增强了遗忘效果，也保证了模型的整体实用性。

纠结选题？导师放养？投稿被拒？对论文有任何问题的同学，欢迎来gongzhonghao【图灵学术计算机论文辅导】，获取顶会顶刊前沿资讯~

QCS: Feature Refining from Quadruplet Cross Similarity for Facial Expression Recognition

方法：这篇文章直击“表情识别被未标注冗余特征淹没”的痛点，首次用四元组交叉相似网络让模型在训练时像侦探一样揪出并剔除干扰特征，而推理时却保持单分支零额外成本。

创新点：

• 首次实现全局空间维度的成对图像细粒度相似度挖掘，避开了ViT交叉注意力的间接反馈缺陷。

• 设计四元组交叉相似QCS框架，用中心对称闭环的四分支结构同时利用同类紧致性与异类分离性。

• 引入对比残差蒸馏，将多分支交互学到的精炼特征通过残差连接与KL/L2自蒸馏回传至单分支推理网络，实现性能提升而不增加推理耗时。

总结：通过构建以Quadruplet Cross Similarity为核心的特征细化模块，充分挖掘面部表情间的微妙差异与共同特征，使模型能精准区分多种表情类别。多分支交互机制不仅强化了特征表达的一致性，还提升了类别间的判别力，整体提升了面部表情识别的准确性。

关注gongzhonghao【图灵学术计算机论文辅导】，快速拿捏更多计算机SCI/CCF发文资讯～