问题导向式提示调优(QPT)
这篇论文主要讲了一个针对小样本(数据量少)文本分类问题的新方法,叫问题导向式提示调优(QPT)。
核心思路是让预训练语言模型(比如BERT的升级版RoBERTa)在少量标注数据下,通过设计特定的“提问式模板”和“标签词扩展技术”来提升分类效果。

图1:全模型微调、掩码语言模型(MLM)和提示学习范例
图示内容
-
(a) 通用微调模型(fine-tuning)
- 输入文本直接通过预训练模型(如BERT)提取特征,再通过分类层(如全连接层)输出类别预测(如“Positive”或“Negative”)。
- 特点:需要修改预训练模型参数,依赖大量标注数据,小样本下易过拟合。