Dify - 整合Ollama + Xinference私有化部署Dify平台(01)
文章目录
- 总体方案
- 服务器
- 在Ubuntu 20.04上安装Docker
- 更新软件包索引
- 安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:
- 添加Docker的官方GPG密钥
- 设置稳定的仓库
- 再次更新软件包索引
- 从新添加的仓库中安装Docker CE
- 验证Docker是否安装成功
- (可选)修改docker的数据目录

总体方案
-
ollama 和 Xinference 管理模型,需要充分利用GPU, 故这里不选择使用Docker安装。
-
Dify 使用Docker安装
服务器
幕僚云按需租几台服务器
选择合适的镜像:机器学习框架镜像
开启学术加速代理
目前机器学习框架镜像默认集成学术加速,需要手动开启学术加速代理
请在终端中使用以下命令开启学术加速。
source /etc/network_turbo
备注:如果network_turbo文件不存在,北京一区、北京二区、北京三区等使用此命令设置相关代理
export http_proxy=http://10.132.19.35:7890
export https_proxy=http://10.132.19.35:7890
在Ubuntu 20.04上安装Docker
在Ubuntu 20.04上安装Docker可以通过以下步骤完成:
更新软件包索引
打开终端并执行命令以确保你的软件包索引是最新的。
sudo apt-get update
安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:
sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
sudo install -m 0755 -d /etc/apt/keyrings
添加Docker的官方GPG密钥
这一步是为了确保你从Docker下载的软件是安全可靠的。
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
如果网络存在问题,可以使用如下方式 , 浏览器访问 https://download.docker.com/linux/ubuntu/gpg 下载该文件,传到服务器上/etc/apt/keyrings/
,修改名为 docker.asc
设置稳定的仓库
添加Docker的APT仓库到你的系统中。
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
再次更新软件包索引
因为刚添加了一个新的仓库,所以需要再次更新软件包索引。
sudo apt-get update
从新添加的仓库中安装Docker CE
现在你可以安装最新的Docker版本了。
sudo apt-get install docker-ce docker-ce-cli containerd.io
验证Docker是否安装成功
安装完成后,运行下面的命令来确认Docker已经正确安装并且可以正常工作。
sudo docker --version
sudo systemctl start docker
sudo systemctl status docker
(可选)修改docker的数据目录
默认docker的镜像和容器存储都在/var/lib/docker
目录下,如果系统盘空间较小,建议将docker数据目录调整到其他可用空间更大的目,避免系统盘空间不足。