5.5 Soft Prompt技术：任务特定微调的新范式

Soft Prompt技术：任务特定微调的新范式

一、Soft Prompt技术全景图

mindmap  
  root((Soft Prompt))  
    Prefix Tuning  
      连续向量优化  
      层级前缀插入  
    Prompt Tuning  
      可学习提示向量  
      任务特定初始化  
    P-Tuning  
      可微提示优化  
      双向提示设计  

Soft Prompt的核心优势：

1. 参数高效：仅优化少量提示向量
2. 任务特定：为每个任务学习独立提示
3. 知识保留：最大限度保留预训练知识

---

二、Prefix Tuning技术详解

2.1 连续向量优化

class PrefixTuning