当前位置：首页 > news >正文

ubuntu ollama /Dify/Docker部署大模型

news 来源：原创 2025/6/4 23:44:34

电脑需要显卡：

执行下载并安装：

curl -fsSL https://ollama.com/install.sh | sh

安装完后到Ollama Search 中查看ollama 可以部署的模型有哪些：

我选择gemma3,所以执行：

ollma pull gemma3:latest 这样就把gemma3:latest 模型下载到了本地

可以查看已经下载安装的大模型：ollama list

运行模型：

ollama run gemma3 或者 ollama run gemma3:latest

再执行：ctrl + d 退出对话

安装Dify：

AGI之路-ubuntu24安装docker部署dify接入ollama deepseekr1:14b - 知乎

Ubuntu 24.04 LTS 安装Docker_ubuntu24.04安装docker-CSDN博客

Doker 安装记得添加官方秘钥以及配置国内源

git clone https://gitee.com/dify_ai/dify.git #使用国内地址，避免超时

cd dify/docker

cp .env.example .env

#运行dify
sudo docker compose up -d
查看dify日志
sudo docker compose logs -f

三 dify接入ollama准备工作

通过 systemd 服务文件配置环境变量
如果 Ollama 是通过 systemd 管理的服务，可以通过修改其服务文件来设置环境变量。
步骤：
使用 vim 编辑 Ollama 的 systemd 服务文件：

sudo vim /etc/systemd/system/ollama.service

在 [Service] 部分添加以下内容：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
编辑完成后，文件内容可能类似以下：
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/bin/ollama
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
Restart=always
[Install]
WantedBy=multi-user.target

保存并退出 vim：
按 ESC 键退出编辑模式。
输入 :wq 保存并退出。
重新加载 systemd 配置并重启 Ollama：

sudo systemctl daemon-reload
sudo systemctl restart ollama

3. 验证配置
检查 Ollama 是否正在监听指定的 IP 和端口：
sudo netstat -tuln | grep 11434
如果配置成功，应该会看到类似以下的输出：
tcp 0 0 0.0.0.0:11434 0.0.0.0:* LISTEN
4. 通过 IP 访问
现在可以通过服务器的 IP 地址访问 Ollama，例如：
curl http://:11434