使用最新Dify1.4.1集成LM Studio的QWQ32B绘制工作流
使用最新Dify1.4.1集成LM Studio的QWQ32B绘制工作流
前言
之前已经在战99部署了LM Studio及QWQ32B小模型:
https://lizhiyong.blog.csdn.net/article/details/147237895
也在Win10的Z840部署过老版本Dify并且集成了Ollama的Deepseek:
https://lizhiyong.blog.csdn.net/article/details/145602366
现在战99上部署个目前最新版本Dify1.4.1,集成LM Studio的QWQ32B,再绘制工作流拓展使用场景
步骤
安装Dify
参照之前的步骤,本次为了方便,暂不修改EXPOSE_NGINX_PORT
的配置,以便可以直接80端口访问
cd D:\\dify\docker
docker compose down
git pull origin main #或者自己http下载解包
docker compose pull
docker compose up -d
和老版本安装部署方式一致
开启LM Studio接口
开启LM Studio的接口后,即可通过1234
端口调用接口访问模型
使用PostMan调用接口试试:
GET http://127.0.0.1:1234/v1/models{"data": [{"id": "qwen3-14b","object": "model","owned_by": "organization_owner"},{"id": "text-embedding-bge-m3","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai.glm-4-32b-0414-abliterated","object": "model","owned_by": "organization_owner"},{"id": "qwen3-reranker-8b","object": "model","owned_by": "organization_owner"},{"id": "qwen3-embedding-8b","object": "model","owned_by": "organization_owner"},{"id": "text-embedding-nomic-embed-text-v1.5","object": "model","owned_by": "organization_owner"},{"id": "qwen3-32b","object": "model","owned_by": "organization_owner"},{"id": "qwen3-30b-a3b","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai.deepseek-r1-distill-qwen-14b-abliterated-v2","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai_qwq-32b-abliterated","object": "model","owned_by": "organization_owner"}],"object": "list"
}
即可查到目前可用的模型,id就是完整的模型名,后续要用!!!
配置Dify的模型供应商
http://localhost/explore/apps
安装需要的插件,之后配置接口,LM Studio这个插件目前的版本在绘制工作流时有报错,建议使用OpenAI的兼容api插件
需要注意的配置:
API endpoint URL:http://host.docker.internal:1234/v1/
模型名称:huihui-ai_qwq-32b-abliterated
由于还是DockerDesktop方式部署的,要使用这个host
模型名称就填写上方查到的某个id值
工作流配置
鸡冻人心的时刻到来了:
可以新建一个工作流,LLM要使用OpenAI兼容API才不会报错!!!使用LM Studio的插件会报错:
1 validation error for LLMNodeData model.mode Field required [type=missing, input_value={'provider': 'stvlynn/lms...'completion_params': {}}, input_type=dict] For further information visit https://errors.pydantic.dev/2.11/v/missing
可以看到有很多种节点可以使用。代码类节点可以编写JS和Python:
要注意返回的变量名和输出变量需一致!!!
验证工作流
随便提问下,可以发现工作流正常运行起来了!!!
最常用的还是条件分支节点,根据关键字去匹配该去哪个分支,后续即可按照不同的Prompt去调用对应的LLM节点大模型及检索对应的知识库,目前来看,我们生产落地最稳的还是RAG。
转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/148607462