当前位置: 首页 > news >正文

【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决

背景:

     本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f  ds7b.mf加载模型启动后回答混乱,无法使用。

解决方法

   重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

    重新编写ds7b.mf文件,文件内容如下:

FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""

PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"

再次加载模型后启动正常

相关文章:

  • 一文读懂 KYC:金融、IT 领域的关键应用与实践
  • 算法学习笔记之递推求解
  • (LLaMa Factory)大模型训练方法--监督微调(Qwen2-0.5B)
  • 利用多线程加速ESMC-6B模型API调用以及403Forbidden问题的解决
  • Redis数据结构总结-整数集合
  • 创建虚拟机遇到的问题
  • Mybatis MyBatis框架的缓存 一级缓存
  • Fino1: 关于推理增强型大型语言模型在金融领域的可迁移性
  • stable diffusion 人物高级提示词(四)朝向、画面范围、远近、焦距、机位、拍摄角度
  • 手写简易RPC(实践版)
  • 【关于电商数据采集】电商数据采集的市场应用及发展
  • golang深度学习-基础篇
  • Ubuntu 20.04源码安装opencv 4.5.0
  • 爬取网站内容转为markdown 和 html(通常模式)
  • 代码随想录-- 第一天图论 --- 岛屿的数量
  • ArcGis和Super Map
  • 接入DeepSeek后,智慧园区安全调度系统的全面提升
  • 怎样从零基础开始学习大模型
  • Vue2/Vue3自定义指令
  • 从零开始构建一个语言模型中vocab_size(词汇表大小)的设定规则
  • 微博:严厉打击对肖某董某事件蹭炒热点、编造故事博流量等行为
  • 扬州市中医院“药膳面包”走红,内含党参、黄芪等中药材
  • 解放日报:让算力像“水电煤”赋能千行百业
  • 解放日报:服务国家战略,加快建成科技创新高地
  • 中方拟解除对5名欧洲议会议员制裁?外交部:望中欧立法机构相向而行
  • 铺就长三角南北“交通动脉”,乍嘉苏改高速扩建项目首桩入位