【NLP 48、大语言模型的神秘力量 —— ICL：in context learning】
目录
一、ICL的优势
1.传统做法
2.ICL做法
二、ICL的发展
三、ICL成因的两种看法
1.meta learning
2.Bayesian Inference
四、ICL要点
① 语言模型的规模
② 提示词prompt中提供的examples数量和顺序
③ 提示词prompt的形式（format）
五、fine-tune VS ICL
不要抓着枯叶哭泣，你要等待初春的芽
—— 25.3.26
一、ICL的优势
1.传统做法
任务定义 ——> 建立标注规范 ——> 标注人员学习标注规范 ——> 标注人员进行标注 ——> 对标注结果进行审核 ——> 使用标注数据训练模型 ——> 模型验证效果 ——> 模型实际预测
2.ICL做法
任务定义 ——> 模型实际预测
ICL方法如果完全成熟，意味着fine-tune范式的终结
二、ICL的发展
关于ICL的成因，目前学术界没有被广泛认可的解释，只有若干假说和一些表现分析。
在GPT3的论文中，z-s【zero-shot】，o-s【one-shot】，f-s【few-shot】都属于ICL
chain-of-thought思维链属于ICL
GPT3给出参考：在输入中加入至少一个样本，能大幅提升ICL效果
对于一个较大的模型而言，给出一个例子就可以显著的提升ICL的效果，给出Few-shot，准确性还会有所提升
对于一个较弱的模型而言，给出多少例子都不会显著提升ICL的效果
fine-tune会伤害ICL能力
精巧的提示词prompt设计有可能超过os、fs，可以通过提示词的改写进一步提高ICL的能力 
Magical word
不给出思维链，而是在输入时多加入一句提示词，需要模型一步步思考：Let's think step by step
模型就可以像思维链一样主动发出思考，最终输出正确的结果
ICL时输入错误样本，不一定影响准确率
我们发现，用随机标签替换正确标签只会略微影响性能，这一趋势在几乎整个过程中是一致的
ICL可以压倒先验知识
三、ICL成因的两种看法
1.meta learning
大模型能在内部训练小型网络
2.Bayesian Inference
模型任务可以看作一个贝叶斯一样的多条件概率的组合，pretrain、prompt、example三者条件概率的组合，三者皆对于最终概率有影响
四、ICL要点
① 语言模型的规模
语言模型需要达到一定的规模
② 提示词prompt中提供的examples数量和顺序
给出的示例样本的数量和顺序也会影响模型效果的好坏
③ 提示词prompt的形式（format）
提示词的格式也十分重要，好的模型会根据你给出的格式回答你的问题
五、fine-tune VS ICL
