做网站小程序源码外链代发软件

1.准备工作

使用ollama 拉取deepseek-r1:7b

官网下载ollama

ollama run deepseek-r1:7b

ollama list

Ragflow专注于构建基于检索增强生成（RAG）的工作流，强调模块化和轻量化，适合处理复杂文档格式和需要高精度检索的场景。Dify则旨在降低大型语言模型（LLM）应用开发的门槛，提供低代码甚至无代码的开发体验，适合快速构建和部署多种AI应用。

因此文档处理采用Ragflow ， 模型部署和agent 开发，采用dify。

dify 本地部署：可参考我的另一篇文章window 系统 使用ollama + docker + deepseek R1+ Dify 搭建本地个人助手_windows系统下 dify+ollama+deepseekr1如何训练-CSDN博客

ragflow 本地部署：可参考如下文章

RAGFlow超详细安装指南 | 构建自己的本地知识库_ragflow 安装-CSDN博客

假设通过lot 采集的现场数据，存储在mysql 数据库中，这里以泵设备维护为例：

同时我们准备了离心泵设备维护手册、技术原理等文档

预测小模型 ：

为模拟真实生产场景，我们使用fastapi 构建了2个接口：

get 接口用于读取数据库中的实时数据

post 接口接收get 数据，并带入小模型中，实现预测

注意：Dify运行在Docker容器中，而FastAPI服务在宿主机上通过VSCode启动。这种设置下，Dify容器内的应用无法直接通过127.0.0.1访问宿主机上的服务，因为127.0.0.1在容器内指的是容器自己的回环接口，而不是宿主机的。

因此需要将127.0.0.1 改成host.docker.internal:

2.使用dify 搭建离心泵智能诊断助手

最后，可以看一下，使用dify 工作流搭建的离心泵智能诊断助手：

以上，只是一个简单的demo 示例，如需在真实场景中落地使用，还需考虑：

1.ollama更加轻量化，默认使用q4进行量化适合资源受限的环境，适合单机低并发，可以用cpu。vllm支持多机多卡分布式扩展，属于生产级的高性能推力框架，等必须使用英伟达gpu，cuda的环境配置有技术门槛，不像ollama可以一键运行。

2.针对不同的数据，选择不同的分块方式，针对于图片，可选择知识图谱功能。