当前位置: 首页 > news >正文

AI智能体(Agent)大模型入门【4】--下载训练好的大模型部署到本地上

目录

前言

下载ollama客户端

修改镜像文件存储位置

挑选相关的模型来进行下载

ollama启动本地大模型指令操作

对话演示


前言

这一篇章是教学如何在电脑部署好别人训练好的大模型,也就是gpt,qwen这些模型。别人训练好的模型,在本地直接使用,不需要使用api-key直接使用的大语言模型。

注:这是在你不想花费费用,或者说已经没有费用去进行调用模型的时候选用的备选方案,因为在本地调用直接使用的模型是已经训练好的,无法获取最新数据或者联网搜索什么的,是基于训练数据来进行回答,且不同版本的模型回答和训练数据不一样,具体得看电脑来进行下载安装。

下载ollama客户端

链接:Ollama --- Ollama

官网首页:

点击

然后再根据自己的需求进行下载安装。

这里会有出现个问题,很多朋友看到他会无法选择盘符直接安装到c盘,请不要慌张,这是正常的。记得自己的c盘要有足够的空间来容纳ollama客户端(约1.2G)

修改镜像文件存储位置

这一步是非常重要的,如果不需改,他会默认存储到c盘,到时候大语言模型是会直接下载到c盘的,若c盘不足以下载的存储的话,则会导致失败,所以这一步至关重要。

接下来跟着我修改就ok了

第一步修改ollama客户端的文件存储修改

打开ollama客户端

点击settings

然后点击browse来进行文件存储地方的下载

记得最后一步需要点击浏览目录来进行镜像文件的地方修改,记住要选择和你的ollama存储地址是一样的文件夹,并且可以新建一个子目录来进行选择、

OK这时候环境变量就修改完了、

你就不用担心文件下载,模型下载存储到c盘里面去了。

挑选相关的模型来进行下载

回到ollama页面,点击Models

这里面有很多模型来提供下载,个人觉得下载deepseek和qwen3其中一个就ok了

所以为了演示,我们这里挑选qwen3来进行下载

在上方搜索栏输入qwen,然后选择qwen3,点击

然后进入到这个界面

不同的大小的模型版本性能肯定是不一样的,当然,同时的所需的电脑配置需求也就越高。

这里贴一个参考,对于个人计算机来说醉倒到8b就ok了,其实大部分我还是推荐在4b及4b以下去,因为这个不仅吃cpu的性能还吃运行内存的相关性能,只是单纯一个达到的话是不足以完整的跑通的,所以还是要依据自己的电脑性能来。

为了照顾大家,我们选择1.7的版本。

然后找到

将这串指令复制下来。

ollama run qwen3:1.7b

然后win+r打开控制台

输入cmd

然后将上面那串指令输入进去

回车等待安装即可。

我这里就部署过了,我就不演示下载的过程了。

ollama启动本地大模型指令操作

当你忘记自己电脑安装了什么大模型的时候可以输入这个指令来进行查看

ollama list

然后如何启动大模型可以输入这个指令来进行操作启动

ollama run 你的大语言模型名称

如何结束对话

按住键盘的ctrl+d

ok到这里你就基本上学会了本地大模型的部署。

对话演示

在下一篇章我会演示介绍如何在python调用下载好的模型。

http://www.dtcms.com/a/428341.html

相关文章:

  • 网站tkd怎么做学做烘培的网站
  • 肇庆网站制作费用wordpress 开源主题
  • 【开题答辩全过程】以 NBA球星管理系统为例,包含答辩的问题和答案
  • asp.net中文官方网站江门市网站建设公司
  • 网站开发费用报价单硬件开发学什么专业
  • 网站外链怎么购买建设网站基本步骤
  • 临沧网站建设公司佛山网站建设公司价格
  • 惠海 48V 60V 80V 降 3.3V 5V 9V 12V电动车/摩托车整车芯片解决方案(下)
  • 做网站用小动画网络公司 建站 官方网站
  • 储卡器底部塑料壳外部细节建模实战分享|附完整视频教程
  • android源码下载网站宁波seo关键词费用
  • 福州做网站哪家最好不利于优化网站的因素
  • 矩阵运算:深度学习的数学基石与手工实现解析
  • 自己做的网站网站搜索潍坊程序设计网站建设公司
  • 修改网站照片需要怎么做电子商务网站前台业务系统主要是
  • 河南洛阳网站建设做个网站上百度怎么做
  • 公司品牌营销策划龙岗网站优化培训
  • 成都做营销型网站wordpress s3插件
  • html5网站正在建设中模板下载建设企业网站个人网银
  • 提高wordpress网站母婴的网站建设
  • 网站搜索引擎优化诊断公司网站开发费用济南兴田德润o评价
  • 网站上传页面ps怎样做网站大图
  • 网站建设专业可行性分析wordpress 删除版权信息
  • 深圳宝安专业做网站公司北京正邦设计
  • linux can子系统学习
  • 门户网站开发投标文件.doc站酷海洛
  • Unity HybridCLR出错 :重行生成的时候出现了:Exception: resolve 热更新 dll:HotUpdate 失败!
  • web表单提交和表单序列化的多种方式总结
  • 一路商机网化妆品网站优化
  • 多人对战贪吃蛇游戏