部署|Llama-Facory微调模型部署

前言

  前面记录了llama-factorry微调大模型的各种参数，现在记录一下基于ollama部署llama-factory微调模型的两种方法，如果没有嫌麻烦的话可以直接看第二种方法,快速部署。

1 方法1，使用llama-cpp

1.1 下载llama-cpp

conda create -n llama-cpp python=3.10
conda activate llama-cpp
git clone https://github.com/ggml-org/llama.cpp.git
pip install -r requirements.txt

如下图所示，git下来之后是这个样子的：

1.2 转换模型到guff

cd llama.cpp
python convert_hf_to_gguf.py --outfile xxx/xxx/model.gguf E:\PyPro\chatbot\LLaMA-Factory\saves\Qwen2.5-0.5B\full\chatbot1024_e5v4

如下图所示，转化出来的模型是这个样子的：

1.3 编写Modelfile

在你的模型同级目录下编写Modelfile，如下图所示：

里面的内容为：

FROM ./chatbot.gguf

PARAMETER num_ctx 1024
PARAMETER temperature 0.95
PARAMETER top_p 0.7

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

这里chatbotdy可以改成你的模型名称。
其中Modefile的可选参数有：

具体详细解释可以看这里：链接
这里重点记录一下TEMPLATE
先去llama-factory官网去看你的模板是什么：

如上图所示，我用的是qwen2.5模板为qwen，然后去ollama官网去找相应模型的TEMPLATE：

点开之后是这样：

将其复制下来即可。

1.4 加载进ollama

ollama这里就不赘述，如果不知道怎么安装的，可以看我以前的文章：Windows| DeepSeek最简单的本地部署方法
这里直接敲命令：

# 也可以直接在上述目录中直接cmd进入目录
cd path_to_ggufpath
ollama create chatbot -f ./Modelfile

这里chatbot为你的模型名称。
如下图所示，这样就算成功添加模型到ollama：

如果不想要了，可以删除模型：

ollama rm model_name

2 方法2，使用Llama-Factory(推荐)

2.1 打开webui

llamafactory-cli webui

2.2 使用webui的Export功能

2.3 使用ollama加载模型

进入导出目录直接cmd进入中断命令行界面，然后输入一下命令：

# chatbot_e5为你给模型起的名字
ollama create chatbot_e5 -f ./Modelfile

如图所示：

总结

本文介绍了如何将llama-factory微调后的大模型通过ollama部署的两种方法，第一种方法有模型兼容问题，具体可以去官网查看兼容哪种模型，所以推荐第二种方法。