当前位置：首页 > news >正文

网站搭建素材电子商务网站建设与管理的总结

news 2025/11/4 21:43:28

网站搭建素材,电子商务网站建设与管理的总结,哪个网站专题做的好,品牌网站建是啥意思因为我们自己微调好的模型就属于自定义的模型了，而且我们微调好的模型也不想泄露出去，所以我们就需要这个ollama加载自定义模型方式进行使用微调模型：https://blog.csdn.net/YXWik/article/details/146207556 ollama安装：https:…

因为我们自己微调好的模型就属于自定义的模型了，而且我们微调好的模型也不想泄露出去，所以我们就需要这个ollama加载自定义模型方式进行使用

微调模型：https://blog.csdn.net/YXWik/article/details/146207556
ollama安装：https://blog.csdn.net/YXWik/article/details/143871588
ollama支持的是gguf文件格式，如果是HF的需要进行转换：https://blog.csdn.net/YXWik/article/details/147117404

在这里插入图片描述
首先要新建一个 Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块
我这里放到了F:\tools\ollama下起名叫huanhuan.Modelfile

在这里插入图片描述
Modelfile的内容

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 
# 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" # 参数设置 
# 取值范围 0-1，值越高输出越随机 
PARAMETER temperature 1  # 系统提示词 
SYSTEM "你是甄嬛传的知识助手"

注册模型

ollama create huanhuan -f  F:/tools/ollama/huanhuan.Modelfile

成功
在这里插入图片描述
注册成功后进行使用

 ollama run huanhuan

在这里插入图片描述

踩坑记录

原Modelfile的内容

#FROM llama3.1 #官方支持的模型
FROM F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf #必须 自定义支持的模型，路径加模型文件名
#不是必须 温度参数，参数越大，分布曲线压的越平
PARAMETER temperature 1
#不是必须 设置系统提示词，
SYSTEM "You are Mario from Super Mario Bros. Answer as Mario, the assistant, only."

注册模型

ollama create huanhuan -f  F:/tools/ollama/huanhuan.Modelfile

出现以下报错： Error: unexpected EOF
在这里插入图片描述

更改Modelfile 内容并采用管理员窗口进行注册

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 # 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" # 参数设置 
PARAMETER temperature 1  # 取值范围 0-1，值越高输出越随机 # 系统提示词 
SYSTEM "你是一个擅长代码生成和问题解答的助手"

再次注册出现以下报错 Error: invalid float value [1 # 取值范围 0-1，值越高输出越随机]
在这里插入图片描述
因为 # 取值范围 0-1，值越高输出越随机 在 PARAMETER temperature 1 这一行，换行后解决

# 基础模型（二选一）
# 1. 使用官方模型 
# FROM llama3.1 # 2. 使用本地自定义模型（需取消注释并验证路径）
FROM "F:/tools/models/export/Qwen2.5-Coder-0.5B-F16.gguf" # 参数设置 
PARAMETER temperature 1  
# 取值范围 0-1，值越高输出越随机 # 系统提示词 
SYSTEM "你是一个擅长代码生成和问题解答的助手"

查看全文

http://www.dtcms.com/a/567388.html