当前位置: 首页 > news >正文

Dify - 整合Ollama + Xinference私有化部署Dify平台(01)

文章目录

  • 总体方案
  • 服务器
  • 在Ubuntu 20.04上安装Docker
    • 更新软件包索引
    • 安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:
    • 添加Docker的官方GPG密钥
    • 设置稳定的仓库
    • 再次更新软件包索引
    • 从新添加的仓库中安装Docker CE
    • 验证Docker是否安装成功
    • (可选)修改docker的数据目录

在这里插入图片描述


总体方案

在这里插入图片描述

  • ollama 和 Xinference 管理模型,需要充分利用GPU, 故这里不选择使用Docker安装。

  • Dify 使用Docker安装


服务器

幕僚云按需租几台服务器

在这里插入图片描述

选择合适的镜像:机器学习框架镜像

在这里插入图片描述

开启学术加速代理

目前机器学习框架镜像默认集成学术加速,需要手动开启学术加速代理

请在终端中使用以下命令开启学术加速。

source /etc/network_turbo

备注:如果network_turbo文件不存在,北京一区、北京二区、北京三区等使用此命令设置相关代理

export http_proxy=http://10.132.19.35:7890

export https_proxy=http://10.132.19.35:7890

在Ubuntu 20.04上安装Docker

在这里插入图片描述
在这里插入图片描述

在Ubuntu 20.04上安装Docker可以通过以下步骤完成:

更新软件包索引

打开终端并执行命令以确保你的软件包索引是最新的。

sudo apt-get update

在这里插入图片描述

安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

sudo install -m 0755 -d /etc/apt/keyrings

在这里插入图片描述

添加Docker的官方GPG密钥

这一步是为了确保你从Docker下载的软件是安全可靠的。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg  -o /etc/apt/keyrings/docker.asc

sudo chmod a+r  /etc/apt/keyrings/docker.asc

在这里插入图片描述

如果网络存在问题,可以使用如下方式 , 浏览器访问 https://download.docker.com/linux/ubuntu/gpg 下载该文件,传到服务器上/etc/apt/keyrings/,修改名为 docker.asc

设置稳定的仓库

添加Docker的APT仓库到你的系统中。

在这里插入图片描述

echo \
"deb [arch=$(dpkg --print-architecture)  signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

再次更新软件包索引

因为刚添加了一个新的仓库,所以需要再次更新软件包索引。

sudo apt-get update

在这里插入图片描述

从新添加的仓库中安装Docker CE

现在你可以安装最新的Docker版本了。

sudo apt-get   install docker-ce docker-ce-cli containerd.io 

在这里插入图片描述

验证Docker是否安装成功

安装完成后,运行下面的命令来确认Docker已经正确安装并且可以正常工作。

sudo docker --version


sudo systemctl start docker 
sudo systemctl status docker 

在这里插入图片描述

(可选)修改docker的数据目录

默认docker的镜像和容器存储都在/var/lib/docker目录下,如果系统盘空间较小,建议将docker数据目录调整到其他可用空间更大的目,避免系统盘空间不足。

在这里插入图片描述

http://www.dtcms.com/a/131609.html

相关文章:

  • C++23 新特性静态operator[]、operator()与Lambda
  • 信号完整性:高速电路设计成功的关键
  • 本地git操作
  • 裂缝检测数据集,支持yolo,coco json,pasical voc xml,darknet格式的标注,1673张原始训练集图片,正确识别率99.4%
  • 趣说区块链隐私智能合约Shielder 实现原理
  • 基于【Lang Chain】构建智能问答系统的实战指南
  • 25.OpenCV中的霍夫圆变换
  • 【多线程-第四天-自己模拟SDWebImage的下载图片功能-看SDWebImage的Demo Objective-C语言】
  • #2 物联网组成要素
  • C# string和其他引用类型的区别
  • Linux下C语言与OpenGL游戏开发指南
  • 第十六天 - SaltStack高级功能 - 状态文件与Grains - 练习:异构环境配置管理
  • 【油猴脚本 0】某动漫网站视频地址解析
  • LabVIEW 控制电机需注意的关键问题
  • CSS 轮廓(Outline)属性学习笔记
  • Qt C++内存泄漏排查方法
  • 【vue】基础
  • 自动化测试工具playwright中文文档-------12.身份验证
  • Spring Boot 自定义商标(Logo)的完整示例及配置说明( banner.txt 文件和配置文件属性信息)
  • Linux的基本指令
  • 在 Ubuntu 系统中安装字符集(字体或语言支持)特殊符号以及输出标点符号的方法
  • 归并排序法排序数组(js版)
  • 安装Istio
  • 洛谷题目:P2371 [CTSC 中国信息学国家集训队] 墨墨的等式 题解(本题难)
  • GoogleAgent-quickstart 学习笔记
  • 23种GoF设计模式
  • 【开题报告+文档+源码】基于SpringBoot教学评价评教系统
  • 数据采集与Web组态显示的技术实现路径解析
  • Android 16应用适配指南
  • 数据集成工具推荐,支持数据库、API、消息文件等集成技术,并具备低代码与可视化配置特性