AI Agent开发第73课-预训练qwen3-如何加入自己的语料

开篇

前面一篇《教授训练本地带思维链模式的模型》我们从头到底讲述了利用llama-factory以SFT的方式微调一个模型，让模型在回答“你是谁”时，可以回答我们指定的内容，并在最后我们把训练好的模型“烧成”可以运行在ollama里的模型的全部过程。

有了前一篇的知识，今天我们来讲，如何把本企业的内部知识库如：员工手册、退货流程或者一些达半年都不太变动的“固定”知识“烧”进Qwen3里。如之前篇章里说到过的：经常变动的、实时变动的我们要用RAG，而需要写入“DNA”的我们需要训练。因此今天讲的训练和上次的SFT微调还不一样，今天讲授的是没有一问、一答这种格式的而转变成一大段一大段的真正的行业知识把它烧进一个LLM，其实相当于制作一个“行业LLM”，在此我们依旧使用的是Qwen3:0.6b。

什么是预训练什么是指令式微调

预训练和指令微调是大语言模型训练的两个关键阶段，它们在目标、数据形式和应用场景上有