ollama在linux上进行部署——离线安装说明

1. 官网下载ollama压缩包
    https://ollama.com/download/ollama-linux-amd64.tgz
 

sudo tar -C /usr -xzf ollama-linux-amd64.tgz   #解压安装

2. 添加systemctl服务启动文件
  添加服务文件：/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=自己的用户
Group=自己的用户组
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=自己的模型路径"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target

注意：这里要修改User、Group和OLLAMA_MODELS

3、 启动ollama服务
 

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama
ollama -v  #查看ollama版本

4、将模型的GUFF文件和Modefile放到目录下，运行命令：
 

ollama create 自己起的模型名 -f Modelfile

5、设置模型使用GPU进行推理

export OLLAMA_USE_GPU=1