当前位置: 首页 > news >正文

Linux 离线部署Ollama和DeepSeek-r1模型

都在复制粘贴联网状态下linux部署deepseek,离线状态下需要下载Ollama和DeepSeek模型,然后将下载包上传到linux中。

1、下载Ollama

https://github.com/ollama/ollama/releases

注意:如果CentOS7建议安装V0.5.11版本,V0.5.13需要GNU libc 2.27版本,避免C库版本要求过高!!!

ldd --version

下载地址:

ollama-linux-amd64.tgz

2、下载DeepSeek-r1模型

在有网的服务器上下载ollama run deepseek-r1:1.5b或其他模型,然后将模型文件打包导出来,复制到离线linux中。

默认模型目录为

/usr/share/ollama/.ollama/models

将models目录打包复制出来即可。

3、相关命令

默认安装目录:
/usr/share/ollama/.ollama/models

配置文件路径:
/etc/systemd/system/ollama.service

创建新的模型存储目录:以当前用户创建目录
sudo mkdir -p /data/ollama/models

更改目录权限:注意权限加给普通用户
sudo chown -R root:root /data/ollama/models
sudo chmod -R 775 /data/ollama/models

解压安装:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

指定新的模型路径:
Environment="OLLAMA_MODELS=/data/ollama/models"

配置信息:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/data/ollama/models"
[Install]
WantedBy=default.target</font>


查看端口:不是localhost11434或者127.0.0.1就行
 sudo netstat -tul


启动服务:
sudo systemctl restart ollama.service

查看服务状态:
sudo systemctl status ollama

查看版本:
ollama --version

关闭服务:
sudo systemctl stop ollama或sudo systemctl disable ollama.service

查看拉取的镜像:
ollama list

启动模型:
ollama run deepseek-r1:1.5b

测试问题:
who are you?
How to solve slow SQL?

相关文章:

  • 做一做native层面消息实战Looper,Handler,Message
  • 第一章:欢迎来到 HTML 星球!
  • 嵌入式裸机设计--MCU常用裸机架构有哪些?
  • MySQL的安装及配置
  • abbd:`Nx`、`Lerna` 和 `Turborepo`
  • 内网anaconda如何使用代理,避免网络连接失败?
  • 【软件工程】一篇入门UML建模图(状态图、活动图、构件图、部署图)
  • 如何看torch 和torchvision版本,如何看CUDA的版本,我是ubuntu的系统,建立的环境是py38。
  • Linux下SVN保存密码
  • c语言笔记 静态数据与ELF程序格式
  • 关于C/C++语言的初学者在哪刷题,怎么刷题
  • 在资源有限中逆势突围:从抗战智谋到寒门高考的破局智慧
  • SpringMVC-全局异常处理
  • 程序化广告行业(2/89):从程序化广告深挖数据处理技巧
  • linux下文件读写操作
  • 【YOLOv8】YOLOv8改进系列(5)----替换主干网络之EfficientFormerV2
  • linux 软件安装(中)
  • JSONUtil InvocationTargetException: null
  • vscode带参数调试
  • jdk-21_linux-x64_bin.tar.gz Linux jdk21压缩包安装保姆级(详细安装教程)
  • 科普|认识谵妄:它有哪些表现?患者怎样走出“迷雾”?
  • 再现五千多年前“古国时代”:凌家滩遗址博物馆今开馆
  • 350种咖啡主题图书集结上海,20家参展书店买书送咖啡
  • 上海率先推进生物制品分段生产试点,这款国产1类创新药获批上市
  • 布局50多个国家和地区,我国科技型企业孵化器数量全球第一
  • 四个“从未如此”使巴以加沙战火绵延时间创下历史之最