哈尔滨网站建设哈尔滨wordpress调用分类图片大小

1 vllm

1.1常用概念

1 vllm：是一种大模型推理的框架，使用了张量并行原理，把大型矩阵分割成低秩矩阵，分散到不同的GPU上运行。

2 模型推理与训练：模型训练是指利用pytorch进行对大模型进行预训练。

模型推理是指用训练好的模型对新的输入生成输出的过程

3 大模型一般的训练过程：1 先对大模型进行无监督预训练。2 对模型进行微调

4 张量：向量到二维矩阵、三维矩阵等。

2 lora和qlora的原理

1 lora 又名low rank adaptation，低秩矩阵自适应。特别适用于微调大规模语言预训练模型。

2 优势：直接对大规模语言模型进行全参数微调（full finetuning）计算量非常大。lora通过引入两个低秩矩阵。具体来说是把非常大的权重矩阵，化为两个维度低的矩阵

3 function call和ReAct

1 function call：模型主动调用在外部工具或者api的能力

2 ReAct：

4 agent

1 agent是什么

4 deepseek模型训练步骤

第一步，进行大规模无监督预训练学习。目的是让模型学会语言的基本结构与模式

第二步，使用质量冷启动数据（cot数据）对模型进行有监督微调。获得基本的格式遵循和反思验证能力

第三步，强化学习