当前位置: 首页 > news >正文

【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决

背景:

     本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f  ds7b.mf加载模型启动后回答混乱,无法使用。

解决方法

   重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

    重新编写ds7b.mf文件,文件内容如下:

FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""

PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"

再次加载模型后启动正常

http://www.dtcms.com/a/27635.html

相关文章:

  • 一文读懂 KYC:金融、IT 领域的关键应用与实践
  • 算法学习笔记之递推求解
  • (LLaMa Factory)大模型训练方法--监督微调(Qwen2-0.5B)
  • 利用多线程加速ESMC-6B模型API调用以及403Forbidden问题的解决
  • Redis数据结构总结-整数集合
  • 创建虚拟机遇到的问题
  • Mybatis MyBatis框架的缓存 一级缓存
  • Fino1: 关于推理增强型大型语言模型在金融领域的可迁移性
  • stable diffusion 人物高级提示词(四)朝向、画面范围、远近、焦距、机位、拍摄角度
  • 手写简易RPC(实践版)
  • 【关于电商数据采集】电商数据采集的市场应用及发展
  • golang深度学习-基础篇
  • Ubuntu 20.04源码安装opencv 4.5.0
  • 爬取网站内容转为markdown 和 html(通常模式)
  • 代码随想录-- 第一天图论 --- 岛屿的数量
  • ArcGis和Super Map
  • 接入DeepSeek后,智慧园区安全调度系统的全面提升
  • 怎样从零基础开始学习大模型
  • Vue2/Vue3自定义指令
  • 从零开始构建一个语言模型中vocab_size(词汇表大小)的设定规则
  • v4l2子系统学习(一)V4L2应用程序编程
  • Python3测试开发面试题2
  • 在echarts的tooltip组件中使用vue3自定义组件
  • Spring Bean生命周期通俗讲解
  • VScode C语言学习开发环境;运行提示“#Include错误,无法打开源文件stdio.h”
  • php文件包含
  • C extern在函数声明中的作用
  • 各类数据质量等相关学习地址
  • vmware centos 10 stream boot 安装
  • 【算法】快排-786. 第k个数