网站建设 职责外贸网站制作推广
Prompt Tuning（提示调优）
旨在通过优化提示来调整预训练语言模型的行为，有诸多变体，并且可以直接设置自然语言提示词。
Prompt Tuning的变体
- Prefix Tuning（前缀调优）
- 原理：在输入序列前添加一段可训练的连续向量作为前缀，模型在处理输入时会同时考虑前缀向量和原始输入。前缀向量在训练过程中不断优化，引导模型产生符合任务需求的输出。
- 示例：在文本生成任务中，对于预训练语言模型，固定模型原有参数，只训练添加在输入前的前缀向量，让模型基于前缀的引导生成特定风格（如诗歌风格、新闻报道风格）的文本。
- Hard - Prompt Tuning（硬提示调优）
- 原理：直接使用离散的自然语言文本作为提示，这些提示是人工设计或通过搜索算法找到的。硬提示可以是任务相关的关键词、短语或完整句子，通过调整这些自然语言提示来影响模型输出。