[2025CVPR-小样本方向]ImagineFSL:基于VLM的少样本学习的想象基集上的自监督预训练很重要
1. 论文概述与背景
- 标题与作者:论文题为“ImagineFSL: Self-Supervised Pretraining Matters on Imagined Base Set for VLM-based Few-shot Learning”。作者团队包括 Haoyuan Yang、Xiaoou Li 等,来自大连理工大学、北京邮电大学和天津大学。项目主页:https://peihuali.org/ImagineFSL。
- 核心问题:现有基于 CLIP 的少样本学习(Few-shot Learning, FSL)方法面临数据稀缺问题。尽管文本到图像(T2I)模型能生成大量合成图像,但现有工作(如 DISEF、DataDream)仅将其作为真实图像的补充,而非独立知识库,导致性能受限。
- 主要目标:提出 ImagineFSL,一种两阶段框架,将合成图像视为独立的“想象基础集”(iBase),通过自监督预训练学习可迁移表示,再微调适应下游少样本任务,显著提升数据利用效率。
2. 方法创新:ImagineFSL 框架
ImagineFSL 的核心是两阶段流程:预训练(Pretraining on iBase)和微调(Fine-tuning for FSL)。以下分步详解:
2.1 预训练阶段:自监督学习在 iBase 上
- iBase 定义