ollama加载本地自定义模型

因为我们自己微调好的模型就属于自定义的模型了，而且我们微调好的模型也不想泄露出去，所以我们就需要这个ollama加载自定义模型方式进行使用

微调模型：https://blog.csdn.net/YXWik/article/details/146207556
ollama安装：https://blog.csdn.net/YXWik/article/details/143871588
ollama支持的是gguf文件格式，如果是HF的需要进行转换：https://blog.csdn.net/YXWik/article/details/147117404

首先要新建一个 Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块
我这里放到了F:\tools\ollama下起名叫huanhuan.Modelfile

Modelfile的内容

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 
# 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" 
 
# 参数设置 
# 取值范围 0-1，值越高输出越随机 
PARAMETER temperature 1  

 
# 系统提示词 
SYSTEM "你是甄嬛传的知识助手"

注册模型

ollama create huanhuan -f  F:/tools/ollama/huanhuan.Modelfile

成功

注册成功后进行使用

 ollama run huanhuan

踩坑记录

原Modelfile的内容

#FROM llama3.1 #官方支持的模型
FROM F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf #必须 自定义支持的模型，路径加模型文件名
#不是必须 温度参数，参数越大，分布曲线压的越平
PARAMETER temperature 1
#不是必须 设置系统提示词，
SYSTEM "You are Mario from Super Mario Bros. Answer as Mario, the assistant, only."

注册模型

ollama create huanhuan -f  F:/tools/ollama/huanhuan.Modelfile

出现以下报错： Error: unexpected EOF


更改Modelfile 内容 并采用管理员窗口进行注册

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 
 
# 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" 
 
# 参数设置 
PARAMETER temperature 1  # 取值范围 0-1，值越高输出越随机 
 
# 系统提示词 
SYSTEM "你是一个擅长代码生成和问题解答的助手"

再次注册出现以下报错 Error: invalid float value [1 # 取值范围 0-1，值越高输出越随机]

因为 # 取值范围 0-1，值越高输出越随机 在 PARAMETER temperature 1 这一行，换行后解决

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 
 
# 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" 
 
# 参数设置 
PARAMETER temperature 1  
# 取值范围 0-1，值越高输出越随机 
 
# 系统提示词 
SYSTEM "你是一个擅长代码生成和问题解答的助手"