AI大模型：（二）2.3 预训练自己的模型

目录

1.预训练原理

2.预训练范式

       1.未标注数据

        2.标注数据 

        3.有正确答案、也有错误答案

3.手撕transform模型

3.1.transform模型代码

3.2.训练数据集

3.3.预训练

3.4.推理

4.如何选择模型

5.如何确定模型需要哪种训练

---

       大模型预训练（Large-scale Pre-training）是当前自然语言处理（NLP）和人工智能领域