企业级大模型部署

企业级大模型部署

路线一：在阿里云平台部署docker容器，然后在docker上部署dify平台，通过获取qwen、deepseek等模型的第三方api的服务，在dify平台进行管理、使用。（使用第三方api服务不安全，数据可能会泄露）

路线二：在Auto平台部署ollama，在ollama上部署deepseek或qwen模型，通过dify平台管理。

Dify是什么

Dify 是一个“AI 应用开发平台”，可以让你通过图形界面（或 API）快速构建自己的 AI 应用，比如聊天机器人、知识库问答、AI 插件系统等。

Dify 提供了一个完整的平台，包括：

•  App 构建器：像搭积木一样构建 AI 工作流（Prompt + 模型 + 工具）
• 知识库：上传文档，让 AI 能“看懂”你的资料回答问题
• 插件系统：集成外部服务，比如联网搜索、数据库、API 调用
• 模型接入：可以连接 OpenAI、Ollama、Xinference、Claude、Gemini 等模型
• 可视化日志与统计：方便你调试和查看模型调用情况

主线一：Dify平台的私有化部署

1、docker的部署

这里我们需要在云服务器上部署docker，详细教程请看我的博客：

linux部署docker（国内镜像）-CSDN博客

2、dify的部署

接着我们在docker上部署dify

首先下载dify的源码：

langgenius/dify: Production-ready platform for agentic workflow development.

注意在国内的云服务器上没有科学上网，所以直接git会很慢，这里建议直接用自己本机的魔法下载压缩包到本地，然后通过终端工具上传到云服务器。