RAFT微调学习笔记

参考：https://zhuanlan.zhihu.com/p/688757352

1、什么是RAFT

2、与普通Fine-tuning的区别

3、训练数据样式

Question: 公司2023年的净利润是多少？
Retrieved Docs: [文档段落1, 文档段落2, ...]
Answer: 公司2023年净利润为3.2亿元。

4、训练数据是如何构造的

1.1 对于一个pdf，先把pdf切分成chunk，也就是产生多个doc。

1.2 利用chatgpt4为每一个doc，生成多个query

1.3 根据query和doc，来生成相关的思维链式的答案

1.4 除了增加相关的doc到训练的promt外，还随机从全量的doc中，以一定的概率p进行下面的操作。

p：添加相关的doc到context来+4个随机的doc。

1-p：不添加相关的doc到context，只有4个随机的doc