大模型微调与部署课程笔记

一、指令数据准备与构建

• 指令微调的方法（一般先做指令微调，后做强化学习）
  1）指令微调
  2）强化学习反馈（需要reward model）
  

1）深度学习中的数据工程

• 数据工程主要任务
  
• 数据处理
  
  变成
  

2）prompt-engineering与指令数据

（1） prompt-engineering概念（提示词工程）

①提示词样本示例

②输入提示效果类型：zero-shot预训练的时候内容反应

③思维链提示

（2）指令数据

• 指令微调好处
  

3）构建微调指令数据

4）开源指令数据集

5）project1：大模型文本摘要微调时间 part1和part2

二、指令数据进阶与增强

1）指令数据重要性

2）数据好坏的度量

3）指令数据的筛选与配比

4）指令数据的扩充

5）指令数据优化案例

6）数学推理指令与思维链

三、大模型微调理论

1）指令微调基础概述

2）指令微调的基本流程和分类

3）指令微调方法：全量参数微调

4）指令微调方法：高效指令微调

5）大模型微调理论小结

6）project1 大模型文本摘要微调实践 part3

四、微调后的模型评估

1）语言模型通用能力评估

2）语言模型专项能力评估-以课程项目为例子

3）bad case 定位、问题分析及解决办法

4）project1 大模型文本摘要微调时间part4

5）project2 大模型工具调用技术实践

五、模型部署理论

1）大模型高效部署

2）主流框架部署介绍

3）Text Generation inference 详解

4）TGI整体推理流程

六、模型部署实践

1）前期准备

2）模型部署

3）服务访问

4）模型服务基准测试

七、课程总结与未来发展

1）本章概述

2）总结：模型与指令数据

3）总结：模型训练与优化

4）总结：推理优化

5）大模型微调与RAG技术

6）技术发展展望