LORA中 软提示是什么

LORA中 软提示是什么

软提示的原理概述

软提示（Soft Prompt）是提示学习（Prompt Learning）中的一种技术，主要用于引导预训练语言模型在特定任务上的表现。传统的提示学习通常使用硬提示（Hard Prompt），也就是在输入文本中添加固定的离散文本，比如在情感分析任务里，在输入句子前添加“这句话的情感是积极还是消极：”。而软提示与之不同，它使用的是可训练的连续向量来作为提示。

在模型训练过程中，软提示的这些向量会不断被调整优化，从而使模型能够根据这些提示更好地理解任务并生成符合要求的输出。这样做的好处在于，软提示能够更灵活地捕捉任务的特征和模式，避免了硬提示可能存在的局限性。

以 P - Tuning v2 为例说明 P1 等标记的含义及作用

含义

在 P - Tuning v2 这类基于软提示的微调方法中，像 [P1]、[P2]、[P3] 等标记代表的是软提示标记。它们并非实际的文本字符，而是可训练的连续向量。每个标记对应一个向量，这些向量会在训练过程中被模型