当前位置: 首页 > news >正文

华为云 Flexus+DeepSeek 实战:华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】

华为云 Flexus+DeepSeek 实战:华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】

文章目录

    • 华为云 Flexus+DeepSeek 实战:华为云单机部署 Dify-LLM 开发平台全流程指南【服务部署、模型配置、知识库构建全流程】
      • 前言
        • 1、ModelArts Studio大模型开通
        • 2、Dify平台单机部署
        • 3、Dify平台模型供应商配置
        • 3、Dify平台模型供应商配置
        • 4、高质量知识库配置Embedding及Rerank模型
          • 4.1 部署Embedding及Rerank模型
          • 4.2 高质量知识库模型供应商配置
            • 4.2.1 ECS公网IP获取
            • 4.2.2 Ollama模型安装
            • 4.2.3 Xorbits Inference模型安装
      • 资源删除销毁
      • 华为云单机部署Dify平台
      • 总结

前言

本文通过华为云结合 Flexus 云服务器与 DeepSeek 大模型,为开发者提供了高效便捷的 Dify-LLM 开发平台单机部署方案,将从 ModelArts Studio 服务开通、Dify 平台自动化部署、DeepSeek 模型接入到高质量知识库的 Embedding 及 Rerank 模型配置,全流程详解如何快速构建可落地的 LLM 应用开发环境,助力个人开发者与团队低成本完成原型验证与场景化功能探索

1、ModelArts Studio大模型开通

1、领取开通在线推理提供服务,点击ModelArts Studio控制台

在这里插入图片描述

2、点击模型推理-在线推理

在这里插入图片描述

3、开通商用服务或者免费服务都可以,如果是体验使用可以暂时使用免费服务,等到有更高的需求可以使用商用服务,另外说明商用服务是按Token计费

  • 免费服务开通:仅适合用于体验模型,且受严格的速率限制。平台可能会不定时调整其适用模型、免费额度、有效期等内容

在这里插入图片描述

  • 商用服务:将为您提供商用级别的推理API服务,开放后您可以获取付费API服务

在这里插入图片描述

2、Dify平台单机部署

1、部署Dify-LLM应用开发平台

部署方案云服务器单机部署CCE 容器高可用部署
适用场景规模较小、对复杂性要求低的场景,满足基本公网访问和安全防护需求对应用可靠性、扩展性和性能有较高要求的大型场景
核心资源1 台华为云 Flexus 云服务器 X 实例、1 个弹性公网 IP、1 个安全组多个弹性公网 IP、弹性负载均衡 ELB、NAT 网关、多台 FlexusX 实例、云容器引擎 CCE Turbo 集群、对象存储服务 OBS、分布式缓存服务 Redis、云数据库 RDS for PostgreSQL 实例、云搜索服务 CSS OpenSearch 集群、4 个安全组
架构特点简单直接,单机部署高可用、可扩展,通过多组件协同构建功能全面的架构
关键能力基础公网访问、基础安全防护负载均衡、高可用保障、分布式存储与缓存、数据库服务、搜索服务、多实例协同扩展
复杂性
资源规模单一实例 + 基础网络资源多类型、多实例、多服务组合的资源集群
可靠性保障依赖单实例稳定性通过集群架构、负载均衡和多实例部署实现高可用性,降低单点故障风险
扩展性扩展性有限,需通过单机升级实现资源扩容支持按需横向扩展实例数量,通过容器集群灵活调整资源规模,满足业务增长需求

在这里插入图片描述

2、选择模板:使用一键部署云服务器单机部署,如下页面默认配置,直接下一步

在这里插入图片描述

3、参数配置:按模板要求对部分资源加密的勾选取消(默认是勾选,如果不取消下一步的时候可能会报错),配置dify_version默认是最新版本更改到0.15.2版本,配置ecs_password(云服务器密码,长度为8-26位,密码至少包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种。管理员账户默认root)

在这里插入图片描述

4、资源栈设置:开启回滚设置(开启回滚表示操作失败时,会自动回滚至系统所保存的上一个成功的资源状态。创建后可在资源栈详情页面修改),删除保护可以根据需求开启(防止资源栈被意外删除。创建后可在资源栈详情页面修改)

在这里插入图片描述

5、配置确认,直接点击创建执行计划

在这里插入图片描述

在这里插入图片描述

6、部署-执行

在这里插入图片描述

在这里插入图片描述

7、点击事件观察部署情况,看是否有报错,如果没有等到部署完成即可(预计10分钟左右,这个过程中代表华为云正在创建 1 台华为云 Flexus 云服务器 X 实例,搭配 1 个弹性公网 IP 和 1 个安全组,创建完成后就可以通过浏览器链接直接访问Dify - LLM 应用开发平台)

在这里插入图片描述

8、基本信息页面查看,是否部署成功,显示部署成功即可点击输出,复制浏览器访问链接来访问Dify - LLM 应用开发平台

在这里插入图片描述

在这里插入图片描述

9、通过浏览器访问链接来访问Dify - LLM 应用开发平台,设置管理员账户Dify - LLM 应用开发平台

在这里插入图片描述

10、通过设置的管理员账户信息来登录

在这里插入图片描述

11、登录后显示如下页面,代表Dify - LLM 应用开发平台已经部署成功

在这里插入图片描述

3、Dify平台模型供应商配置

1、Dify - LLM 应用开发平台模型供应商配置(接入DeepSeek)

在这里插入图片描述

2、模型供应商中找到OpenAI-API-compatible并且安装

在这里插入图片描述

3、安装成功如下所示

在这里插入图片描述

4、DeepSeek模型供应商配置(OpenAI-API-compatible供应商)

在这里插入图片描述

5、配置页面

在这里插入图片描述

6、API Key获取:ModelArts Studio控制台,点击API KEY管理,创建自己的API KEY,标签和描述根据自己的填即可,获取到自己的API KEY注意保存(只会显示一次自己的API KEY)

在这里插入图片描述

在这里插入图片描述

7、自定义 API endpoint 地址获取:ModelArts Studio控制台,点击在线推理,选择自己的服务,商用服务或者免费服务的用法相同,点击调用说明获取自定义API endpoint 地址

在这里插入图片描述

8、点击OpenAI SDK复制API接口信息,这个就是自己的API endpoint 地址

在这里插入图片描述

9、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称

在这里插入图片描述

10、点击保存,页面会显示修改成功,配置成功页面如下

在这里插入图片描述

3、Dify平台模型供应商配置

1、Dify - LLM 应用开发平台模型供应商配置(接入DeepSeek)

在这里插入图片描述

2、模型供应商中找到OpenAI-API-compatible并且安装

在这里插入图片描述

3、安装成功如下所示

在这里插入图片描述

4、DeepSeek模型供应商配置(OpenAI-API-compatible供应商)

在这里插入图片描述

5、配置页面

在这里插入图片描述

6、API Key获取:ModelArts Studio控制台,点击API KEY管理,创建自己的API KEY,标签和描述根据自己的填即可,获取到自己的API KEY注意保存(只会显示一次自己的API KEY)

在这里插入图片描述

在这里插入图片描述

7、自定义 API endpoint 地址获取:ModelArts Studio控制台,点击在线推理,选择自己的服务,商用服务或者免费服务的用法相同,点击调用说明获取自定义API endpoint 地址

在这里插入图片描述

8、点击OpenAI SDK复制API接口信息,这个就是自己的API endpoint 地址

在这里插入图片描述

9、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称

在这里插入图片描述

10、点击保存,页面会显示修改成功,配置成功页面如下

在这里插入图片描述

4、高质量知识库配置Embedding及Rerank模型
4.1 部署Embedding及Rerank模型

1、登录华为云解决方案实践,选择快速部署Embedding及Rerank模型

在这里插入图片描述

2、点击进入-下滑至方案架构

在这里插入图片描述

3、区域选择

成本预算:3~6元(按需计费:Flexus云服务器X实例2.28元/小时,弹性公网IP EIP0.80元/GB,体验本方案预计成本不超过6元)

在这里插入图片描述

4、选择模板

  • 默认配置下一步

在这里插入图片描述

5、参数配置

  • 按模板要求对部分资源加密取消勾选
  • ecs_password:云服务器密码,长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种、

在这里插入图片描述

6、资源栈设置

开启回滚设置:开启回滚表示操作失败时,会自动回滚至系统所保存的上一个成功的资源状态。创建后可在资源栈详情页面修改。

在这里插入图片描述

7、配置确认

在这里插入图片描述

8、创建执行计划

在这里插入图片描述

9、部署

在这里插入图片描述

10、执行计划

在这里插入图片描述

11、基本信息中等待状态改变为部署完成即可完成部署

在这里插入图片描述

在这里插入图片描述

4.2 高质量知识库模型供应商配置
4.2.1 ECS公网IP获取

1、ECS公网IP获取

在这里插入图片描述

在这里插入图片描述

4.2.2 Ollama模型安装

1、安装bge-m3(embedding)和bge-reranker-v2-m3 (reranker)模型供应商

  • Ollama安装

在这里插入图片描述

在这里插入图片描述

2、Ollama模型供应商配置

在这里插入图片描述

  • 模型类型:Text Embedding
  • 模型名称:bge-m3
  • 基础URL:http://ECS公网IP:11434(如上前提有获取流程)
  • 端口号:11434

在这里插入图片描述

3、Xorbits Inference模型安装

在这里插入图片描述

在这里插入图片描述

4.2.3 Xorbits Inference模型安装

4、Xorbits Inference模型配置

模型类型: Rerank

模型名称与模型UID均填写:bge-reranker-v2-m3

服务器URL:http://ECS公网IP:9997

端口号:9997

在这里插入图片描述

在这里插入图片描述

5、模型成功配置

在这里插入图片描述

如上即完成了华为云单机部署以及高质量知识库配置Embedding及Rerank模型的创建和配置,后续即可直接在华为云Dify平台中,直接创建高质量知识库,经济知识库默认配置,不需要特殊创建过程。

资源删除销毁

Tip:

  • 删除资源栈的流程官方文档比较详细可以参考官方文档
  • 资源删除销毁单机部署和CCE集群高可用部署的方式相同

1、进入资源编排服务控制台,找到刚创建成功的资源栈,单击行操作列的删除,页面弹出确认删除框,在输入框中再次输入Delete,单击确定,即可删除

在这里插入图片描述

2、如果启用删除保护的情况下删除资源堆栈,则会显示错误消息

在这里插入图片描述

3、只需要将删除保护关闭再删除即可(此处我并未开启所以不做演示)

在这里插入图片描述

华为云单机部署Dify平台

华为云单机部署 Dify 平台,15 分钟即可自动化完成相关依赖配置,便捷高效。借助 Flexus X 实例,具备高性能架构与场景化加速能力,成本上有柔性算力革新,还提供旗舰级可靠性保障 ,适合个人开发者或团队快速体验 Dify 基础功能,进行小规模试验与原型验证

✅部署便捷:利用华为云一键部署功能,15 分钟可自动化完成 VPC、OBS 等依赖配置,较手动部署效率提升 90%。无需复杂的多实例或高可用架构配置,适合个人开发者或团队快速体验基本功能,10 分钟内即可启动,便于模型调试、小规模应用验证

✅性能卓越:以华为云 Flexus X 实例为算力底座,基于擎天架构,单核性能较传统 x86 实例优化 60%,整体算力达业界 1.6 倍。借助 X - Turbo 引擎,PostgreSQL 查询 TPS 达 1200,是传统实例 6 倍,Redis 延迟 < 10ms,向量检索速度提升至 5000 条 / 秒,模型推理吞吐量增加 35%,支持单实例 15 路并发查询

✅安全可靠:依托华为云跨可用区(AZ)容灾机制,45 秒内可完成故障迁移,可用性达 99.995%。通过 OBS AES - 256 加密、SSL/TLS 链路保护满足等保 2.0 合规,以刚性 SLA 承诺,未达标最高获 300% 资源券赔偿

总结

本指南完整覆盖华为云单机部署 Dify-LLM 开发平台的全流程,通过 Flexus 云服务器 X 实例的一键自动化部署,15 分钟即可完成从环境搭建到模型配置的全链路操作,单核性能较传统架构提升 60% 的同时,成本低至 0.95 元 / 小时。结合 DeepSeek 模型接入与 bge 系列 Embedding、Rerank 模型的高效配置,不仅实现向量检索速度 5000 条 / 秒、PostgreSQL 查询 TPS 达 1200 的高性能表现,更通过跨可用区容灾、AES-256 加密等机制保障系统可靠性。该方案尤其适合中小团队快速验证 LLM 应用原型,且支持平滑扩展至 CCE 集群,为规模化部署奠定基础。

相关文章:

  • Mac电脑-触摸板增强工具-BetterTouchTool
  • ZZNU大一下 英语选填期末复习
  • 深入解析ID3算法:信息熵驱动的决策树构建基石
  • Python元组及字符串
  • 微处理器原理与应用篇---计算机系统的结构、组织与实现
  • 七、Redis的持久化策略
  • 前端实现截图的几种方法
  • aardio 并行任务处理
  • 对接支付宝,阿里云沙箱服务
  • AWS VPC 子网划分实战指南:从基础到进阶
  • Z-Ant开源程序是简化了微处理器上神经网络的部署和优化
  • Rust自动化测试的框架
  • C++ - vector 的使用
  • Python的6万张图像数据集CIFAR-10和CIFAR-100说明
  • 软件工程概述:核心概念、模型与方法全解析
  • Linux编程:5、进程通信-命名管道
  • 从流量为王到留量为王:开源链动2+1模式、AI智能名片与S2B2C商城小程序的协同创新路径
  • Skrill是什么?中国用户能用吗?安全吗?完整指南
  • Spring Boot + MyBatis + Vue:全栈开发的深度剖析与实践指南
  • WINUI/WPF——Button不同状态下图标切换
  • 沈阳营销型网站制作/工业设计公司
  • 网站商城怎么做app/百度精准搜索
  • 网站做视频窗口接口收费么/郑州网络推广哪家口碑好
  • 销售网站怎么做/软文标题和内容
  • 建设工程监理考试网站/百度数据查询
  • 做球迷网站/北京seo关键词排名优化软件