当前位置: 首页 > news >正文

本地部署ollama及deepseek(linux版)

一、安装ollama

export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"  设置代理,不然按照的时候回出现如下问题

>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
curl: (7) Failed to connect to github.com port 443 after 2 ms: Couldn't connect to server

安装完成会出现如下消息,告警信息可以忽略,因为没有显卡会提示使用cpu

查看ollama的状态
sudo systemctl status ollama

 

ollama的常用命令

ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama cp # 复制模型
ollama rm # 删除模型
ollama help # 获取有关任何命令的帮助信息
ollama ps #查看运行中的模型

常用的环境变量配置


OLLAMA_DEBUG:是否开启调试模式,默认为 false。
OLLAMA_FLASH_ATTENTION:是否闪烁注意力,默认为 true。
OLLAMA_HOST:Ollama 服务器的主机地址,默认为空。
OLLAMA_KEEP_ALIVE:保持连接的时间,默认为 5m。
OLLAMA_LLM_LIBRARY:LLM 库,默认为空。
OLLAMA_MAX_LOADED_MODELS:最大加载模型数,默认为 1。
OLLAMA_MAX_QUEUE:最大队列数,默认为空。
OLLAMA_MAX_VRAM:最大虚拟内存,默认为空。
OLLAMA_MODELS:模型目录,默认为空。
OLLAMA_NOHISTORY:是否保存历史记录,默认为 false。
OLLAMA_NOPRUNE:是否启用剪枝,默认为 false。
OLLAMA_NUM_PARALLEL:并行数,默认为 1。
OLLAMA_ORIGINS:允许的来源,默认为空。
OLLAMA_RUNNERS_DIR:运行器目录,默认为空。
OLLAMA_SCHED_SPREAD:调度分布,默认为空。
OLLAMA_FLASH_ATTENTION: 启用 Flash Attention。
OLLAMA_TMPDIR:临时文件目录,默认为空。

二、下载模型

1、配置模型保存路径

echo "export OLLAMA_MODELS=/data/ollama_models" >> ~/.bashrcsource ~/.bashrc

2、下载

拉取模型:  

ollama pull deepseek-r1:7b

三、运行模型

ollama run deepssk-r1:1.5b

目前基本的本地部署就完成了,接下来就是应用了。

等有进展后会来继续记录

相关文章:

  • 力扣刷题Day 48:盛最多水的容器(283)
  • 最短路与拓扑(1)
  • 【算法笔记】ACM数论基础模板
  • 反射(Reflection)详解
  • 快速上手Linux nfs网络文件系统
  • 网站遭受扫描攻击,大量爬虫应对策略
  • C语言while循环的用法(非常详细,附带实例)
  • 绘制时间对应的数据曲线
  • C/C++ 程序执行的主要过程
  • [万字]qqbot开发记录,部署真寻bot+自编插件
  • JavaScript进阶(九)
  • mysql8常用sql语句
  • VLLM推理大模型显存不够后,导致程序引擎崩溃的调优方案尝试
  • Mac M系列 安装 jadx-gui
  • java架构设计
  • git cherry-pick和git stash命令详解
  • 反转链表II
  • leetcode0295. 数据流的中位数-hard
  • 关于 javax.validation.constraints的详细说明
  • HuggingFace的SafeSensor格式模型能转成Ollama格式的吗?
  • 前四个月人民币贷款增加10.06万亿元,4月末M2余额同比增长8%
  • 观察|“双雄”格局下电池制造商如何生存:加码不同技术、抢滩新赛道
  • 中央结算公司:减免境外央行类机构账户开户费用
  • 马上评丨75万采购300元设备,仅仅终止采购还不够
  • 中国一直忽视欧盟经贸问题关切?外交部:事实证明中欧相互成就,共同发展
  • 他站在当代思想的地平线上,眺望浪漫主义的余晖