提示学习思想

提示学习

提示学习 是一种让预训练的大模型（尤其是语言模型或视觉-语言模型）执行特定任务的方法，其核心思想是：我们不直接调整模型的内部参数（即不进行或仅进行少量微调），而是通过设计一个特定的输入格式或“提示”，来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来“唤醒”模型内部已有的知识和能力，使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本，是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式，其核心思想可以概括为：
通过让模型学会“区分”相似与不相似的数据对，来学习数据的本质特征表示。
它不依赖于人工标注的标签，而是通过自己构造“正样本”和“负样本”来训练模型。（CLIP）

例如，步骤：
1 给你一张猫的图片（锚点样本）。
2 再给你一张同一只猫的不同角度照片（正样本），和一张狗的图片（负样本）。
3 目标是：让孩子学会识别出猫的照片和它的另一张照片是“相似的”，而和狗的图片是“不同的”。
在这个过程中，孩子并没有被直接告知“猫”的定义，但他通过不断的对比，自己学到了“猫”的内在特征，以至于以后看到一只从来没见过的猫，也能认出来。