当前位置: 首页 > news >正文

Dify - 整合Ollama + Xinference私有化部署Dify平台(01)

文章目录

  • 总体方案
  • 服务器
  • 在Ubuntu 20.04上安装Docker
    • 更新软件包索引
    • 安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:
    • 添加Docker的官方GPG密钥
    • 设置稳定的仓库
    • 再次更新软件包索引
    • 从新添加的仓库中安装Docker CE
    • 验证Docker是否安装成功
    • (可选)修改docker的数据目录

在这里插入图片描述


总体方案

在这里插入图片描述

  • ollama 和 Xinference 管理模型,需要充分利用GPU, 故这里不选择使用Docker安装。

  • Dify 使用Docker安装


服务器

幕僚云按需租几台服务器

在这里插入图片描述

选择合适的镜像:机器学习框架镜像

在这里插入图片描述

开启学术加速代理

目前机器学习框架镜像默认集成学术加速,需要手动开启学术加速代理

请在终端中使用以下命令开启学术加速。

source /etc/network_turbo

备注:如果network_turbo文件不存在,北京一区、北京二区、北京三区等使用此命令设置相关代理

export http_proxy=http://10.132.19.35:7890

export https_proxy=http://10.132.19.35:7890

在Ubuntu 20.04上安装Docker

在这里插入图片描述
在这里插入图片描述

在Ubuntu 20.04上安装Docker可以通过以下步骤完成:

更新软件包索引

打开终端并执行命令以确保你的软件包索引是最新的。

sudo apt-get update

在这里插入图片描述

安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

sudo install -m 0755 -d /etc/apt/keyrings

在这里插入图片描述

添加Docker的官方GPG密钥

这一步是为了确保你从Docker下载的软件是安全可靠的。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg  -o /etc/apt/keyrings/docker.asc

sudo chmod a+r  /etc/apt/keyrings/docker.asc

在这里插入图片描述

如果网络存在问题,可以使用如下方式 , 浏览器访问 https://download.docker.com/linux/ubuntu/gpg 下载该文件,传到服务器上/etc/apt/keyrings/,修改名为 docker.asc

设置稳定的仓库

添加Docker的APT仓库到你的系统中。

在这里插入图片描述

echo \
"deb [arch=$(dpkg --print-architecture)  signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

再次更新软件包索引

因为刚添加了一个新的仓库,所以需要再次更新软件包索引。

sudo apt-get update

在这里插入图片描述

从新添加的仓库中安装Docker CE

现在你可以安装最新的Docker版本了。

sudo apt-get   install docker-ce docker-ce-cli containerd.io 

在这里插入图片描述

验证Docker是否安装成功

安装完成后,运行下面的命令来确认Docker已经正确安装并且可以正常工作。

sudo docker --version


sudo systemctl start docker 
sudo systemctl status docker 

在这里插入图片描述

(可选)修改docker的数据目录

默认docker的镜像和容器存储都在/var/lib/docker目录下,如果系统盘空间较小,建议将docker数据目录调整到其他可用空间更大的目,避免系统盘空间不足。

在这里插入图片描述

相关文章:

  • C++23 新特性静态operator[]、operator()与Lambda
  • 信号完整性:高速电路设计成功的关键
  • 本地git操作
  • 裂缝检测数据集,支持yolo,coco json,pasical voc xml,darknet格式的标注,1673张原始训练集图片,正确识别率99.4%
  • 趣说区块链隐私智能合约Shielder 实现原理
  • 基于【Lang Chain】构建智能问答系统的实战指南
  • 25.OpenCV中的霍夫圆变换
  • 【多线程-第四天-自己模拟SDWebImage的下载图片功能-看SDWebImage的Demo Objective-C语言】
  • #2 物联网组成要素
  • C# string和其他引用类型的区别
  • Linux下C语言与OpenGL游戏开发指南
  • 第十六天 - SaltStack高级功能 - 状态文件与Grains - 练习:异构环境配置管理
  • 【油猴脚本 0】某动漫网站视频地址解析
  • LabVIEW 控制电机需注意的关键问题
  • CSS 轮廓(Outline)属性学习笔记
  • Qt C++内存泄漏排查方法
  • 【vue】基础
  • 自动化测试工具playwright中文文档-------12.身份验证
  • Spring Boot 自定义商标(Logo)的完整示例及配置说明( banner.txt 文件和配置文件属性信息)
  • Linux的基本指令
  • 大型长读长RNA测序数据集发布,有助制定精准诊疗策略
  • TCL科技一季度净利增超三倍,去年半导体显示业务营收创新高
  • 对话|贝聿铭设计的不只是建筑,更是生活空间
  • 中介在网上非法贩婴“一个孩子8.5万元”?丹阳警方介入
  • 扎克伯格怕“错过风口”?Meta AI数字伴侣被允许与未成年人讨论不当话题
  • 中国黄金协会:一季度我国黄金产量同比增1.49%,黄金消费量同比降5.96%