AI大模型：（二）2.1 从零训练自己的大模型概述
目录
1. 分词器训练
1.1 分词器概述
1.2 训练简述
2.预训练
2.1 预训练概述
2.2 预训练过程简介
3.微调训练
3.1 微调训练概述
3.2 微调过程简介
4.人类对齐
4.1 人类对齐概述
4.2 人类对齐训练过程简介
近年来，大语言模型（LLM）如GPT-4、Claude、LLaMA等展现出强大的能力，推动AI技术在自然语言处理、代码生成、知识推理等领域的广泛应用。本文将系统性地概述大模型从零训练的全过程，包括分词器训练、预训练、微调、人类对齐。
1. 分词器训练
我们在章节一用transform部署大模型的时候，需要在创建model类之前先创建一个tokenizer。这个tokenizer到底时什么？还有我们下载的大模型文件目录下总是包括tokenizer.json、vocab.json或merges.txt等文件，这些又是什么？其实这就是tokenizer分词器及相关文件。
分词器是大语言模型的基础组件，无论是我们从零训练自己的大预言模型，还是在其他大预言模型基础上进行微调，了解它是必不可少，当然我们也可以根据自己的需要训练自己的分词器。