【2025ICCV-持续学习方向】一种用于提示持续学习（Prompt-based Continual Learning, PCL）的新方法
1. 背景与问题 (Background & Problem):
- 持续学习 (CL): 目标是在不遗忘旧任务知识的情况下，让模型持续学习一系列新任务。主要挑战是灾难性遗忘。
- 基于提示的持续学习 (PCL): 利用预训练视觉Transformer (ViT)，冻结其权重，通过微调称为“提示”(prompts)的小型可学习参数集来适应新任务。提示充当任务特定指令。
- 现有方法的局限 (Limitations of Existing Methods):
- 现有整合提示的方法（如输入条件加权求和[CODA-Prompt]或在任务共享空间中生成后合并[ConvPrompt]）产生的提示表示多样性有限。
- 原因：1) 固定表示无法适应新任务；2) 在易受任务干扰和主导的任务共享空间中生成的表示容易过拟合，泛化能力差。
- 图2分析表明，这种多样性不足限制了模型在顺序学习中获得高精度和低遗忘的能力。更高的表示多样性有助于提高精度和减少遗忘。
2. 提出的方法：RainbowPrompt (Proposed Method: RainbowPrompt)
- 核心思想： 提出一种“提示进化”(prompt-evolving)方法，动态地重组和调整累积的任务特定提示（称为“基础提示”）的表示，使其更适应新任务，同时保留旧知识并增强表示多样性。
- 机制 (Mechanism):
- 维护一个累积的基础提示集合
P = {p¹, p², ..., pᵗ}（每个任务对应一个）。 - 目标是整合这些提示为一个统一的“彩虹提示”
pʳᵃⁱⁿᵇᵒʷ⁽ᵗ⁾。 - 仅更新当前任务的基础提示，冻结旧任务提示以保护其知识。
- 通过引入可学习组件，对所有基础提示进行转换(transformation)和对齐(alignment)，促进知识迁移到新任务。
- 维护一个累积的基础提示集合
- 关键步骤 (Key Steps):
- 基于注意力的转换 (Attention-based Transformation):
- 任务条件化 (Task Conditioning): 使用可学习的任务嵌入向量
eᵗ注入任务相关信息到基础提示集合Pₗ。 - 任务级转换 (Task-level Transformation):
- 任务条件化 (Task Conditioning): 使用可学习的任务嵌入向量
- 基于注意力的转换 (Attention-based Transformation):