实战演练11：生成式对话机器人(Bloom)
实战演练11：生成式对话机器人
- 对话机器人介绍
- 预训练模型简介
- 解决方案
- 生成式对话机器人代码
- 常见解码参数介绍
- 小结和后期规划
对话机器人介绍
- 什么是对话机器人？
- 对话机器人在本质上是一个用来模拟人类对话或聊天的计算机程序，接收人类的自然语言作为输入，并给出合适的回复
- 按照任务类型划分，对话机器人简单的可以划分为闲聊机器人、问答机器人、任务型对话机器人
- 按照答案产生的逻辑划分，对话机器人可以划分为检索式对话机器人和生成式对话机器人
- 本次课程关注的内容为基于生成式的问答机器人
预训练模型简介
- 因果语言模型，自回归模型
- 将完整序列输入，基于上文的token预测当前token
- 结束位置要有特殊token,eos_token
解决方案
- 指令微调
- 指令微调的方式，赋予回答问题的能力
- 多类型的任务共同学习，能够解决不同的任务