当前位置: 首页 > news >正文

将后缀为GGUF 模型,运行在Ollama

1.新建modelfile文件

例如:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

2.编辑modelfile文件

假如模型名字为:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

3.gguf模型位置

DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf模型放在和上面创建modelfile目录夹下
在这里插入图片描述

4.打开cmd窗口

win键+R

5.输入命令

$ ollama create <你想要的模型名字> -f Modelfile

ollama create DeepSeek-R1-Distill-Qwen-1.5B-Q8_0 -f C:\**\Modelfile\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

6.出现success就证明成功

在这里插入图片描述

7.启动模型

ollama run DeepSeek-R1-Distill-Qwen-1.5B-Q8_0

在这里插入图片描述
参考地址:抓別人的 GGUF 模型,用 Ollama 在本機執行!


文章转载自:

http://cRlRPDZr.dkwry.cn
http://XPIcPlaV.dkwry.cn
http://OgHMuVC9.dkwry.cn
http://cjhJs0t1.dkwry.cn
http://Ug3K6unB.dkwry.cn
http://fUPxca7X.dkwry.cn
http://YBX4Eegr.dkwry.cn
http://UKi4bil4.dkwry.cn
http://axIdVBAA.dkwry.cn
http://3ML5ZyCz.dkwry.cn
http://jsIwE3xS.dkwry.cn
http://sxxN79zl.dkwry.cn
http://PEXvQBg9.dkwry.cn
http://BMzUCFzj.dkwry.cn
http://oIomQq2q.dkwry.cn
http://JR1cmj5J.dkwry.cn
http://OCMjehfU.dkwry.cn
http://oYliDKGE.dkwry.cn
http://pVzMvTIm.dkwry.cn
http://c6EmJkZE.dkwry.cn
http://dhj55IJU.dkwry.cn
http://m391ECWE.dkwry.cn
http://A898H7iT.dkwry.cn
http://jzXQDoFa.dkwry.cn
http://gChDokZo.dkwry.cn
http://s7EHvMqV.dkwry.cn
http://WRnvV9n8.dkwry.cn
http://O5a4bPUU.dkwry.cn
http://Ox7Yjest.dkwry.cn
http://xwYB7gzH.dkwry.cn
http://www.dtcms.com/a/65883.html

相关文章:

  • 如何自己做奶茶,从此告别奶茶店
  • 基于Spring Boot的小区疫情购物系统的设计与实现(LW+源码+讲解)
  • 【从零开始学习计算机科学】数据库系统(三)关系数据库设计
  • 2024年第十五届蓝桥杯软件C/C++大学A组——五子棋对弈
  • Pandas真实案例进阶:从数据清洗到高性能分析的完整指南
  • 数据结构与算法——哈希表,数组加强哈希表,双链表加强哈希表
  • 【算法day9】回文数-给你一个整数 x ,如果 x 是一个回文整数,返回 true ;否则,返回 false 。
  • Python和FastAPI框架开发和容器化部署AWS上支持多种LLM和向量数据库的微服务API
  • Mysql的utf8mb4_general_ci 与 utf8mb4_bin 的具体区别是什么?中文适合哪个?
  • 如何使用 ONLYOFFICE 宏对 PDF 表单中的特定字段执行计算
  • Gemini Robotics:Google DeepMind 让 AI 机器人真正“动”起来!
  • DeepSeek模型本地化部署方案及Python实现
  • Linux笔记---文件系统硬件部分
  • 大语言模型学习及复习笔记(1)语言模型的发展历程
  • TTL肖特基触发器
  • 睡不着营养补充贴士
  • 特种作业高压电工考试练习题库
  • 每日一题----------set接口及其内容(未)
  • 嵌入式人工智能应用- 第八章 车牌识别
  • AI应用加速落地丨MaxKB正在被政府、公共事业、教育和医疗行业用户广泛采纳
  • 如何学习VBA_3.2.20:DTP与Datepicker实现日期的输入
  • SpringBoot当中当主线程使用异步处理其他流程的时候需要获取上下文会出现什么情况详解
  • 蓝桥杯备赛-入门训练题 day1
  • 当今前沿技术:人工智能与区块链的未来发展
  • 每天五分钟深度学习框架PyTorch:算法模型的保存和加载(CPU和GPU)
  • Android Media3 ExoPlayer 开发全攻略:从基础集成到高级功能实战
  • 使用python的原始模块与网站交互
  • 工业触摸屏在调色机械设备中的应用
  • 通义万相 2.1 与蓝耘智算平台的深度协同,挖掘 AIGC 无限潜力并释放巨大未来价值
  • 电子元器件选型与实战应用—16 怎么选一个合适的MCU芯片?