当前位置: 首页 > news >正文

使用最新Dify1.4.1集成LM Studio的QWQ32B绘制工作流

使用最新Dify1.4.1集成LM Studio的QWQ32B绘制工作流

前言

之前已经在战99部署了LM Studio及QWQ32B小模型:

https://lizhiyong.blog.csdn.net/article/details/147237895

也在Win10的Z840部署过老版本Dify并且集成了Ollama的Deepseek:

https://lizhiyong.blog.csdn.net/article/details/145602366

现在战99上部署个目前最新版本Dify1.4.1,集成LM Studio的QWQ32B,再绘制工作流拓展使用场景

步骤

安装Dify

参照之前的步骤,本次为了方便,暂不修改EXPOSE_NGINX_PORT的配置,以便可以直接80端口访问

cd D:\\dify\docker
docker compose down
git pull origin main  #或者自己http下载解包
docker compose pull
docker compose up -d

和老版本安装部署方式一致

开启LM Studio接口

在这里插入图片描述

开启LM Studio的接口后,即可通过1234端口调用接口访问模型

使用PostMan调用接口试试:

GET http://127.0.0.1:1234/v1/models{"data": [{"id": "qwen3-14b","object": "model","owned_by": "organization_owner"},{"id": "text-embedding-bge-m3","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai.glm-4-32b-0414-abliterated","object": "model","owned_by": "organization_owner"},{"id": "qwen3-reranker-8b","object": "model","owned_by": "organization_owner"},{"id": "qwen3-embedding-8b","object": "model","owned_by": "organization_owner"},{"id": "text-embedding-nomic-embed-text-v1.5","object": "model","owned_by": "organization_owner"},{"id": "qwen3-32b","object": "model","owned_by": "organization_owner"},{"id": "qwen3-30b-a3b","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai.deepseek-r1-distill-qwen-14b-abliterated-v2","object": "model","owned_by": "organization_owner"},{"id": "huihui-ai_qwq-32b-abliterated","object": "model","owned_by": "organization_owner"}],"object": "list"
}

即可查到目前可用的模型,id就是完整的模型名,后续要用!!!

配置Dify的模型供应商

http://localhost/explore/apps

在这里插入图片描述

安装需要的插件,之后配置接口,LM Studio这个插件目前的版本在绘制工作流时有报错,建议使用OpenAI的兼容api插件

需要注意的配置:

API endpoint URL:http://host.docker.internal:1234/v1/
模型名称:huihui-ai_qwq-32b-abliterated

由于还是DockerDesktop方式部署的,要使用这个host

模型名称就填写上方查到的某个id值

工作流配置

鸡冻人心的时刻到来了:

在这里插入图片描述

可以新建一个工作流,LLM要使用OpenAI兼容API才不会报错!!!使用LM Studio的插件会报错:

1 validation error for LLMNodeData model.mode Field required [type=missing, input_value={'provider': 'stvlynn/lms...'completion_params': {}}, input_type=dict] For further information visit https://errors.pydantic.dev/2.11/v/missing

在这里插入图片描述

可以看到有很多种节点可以使用。代码类节点可以编写JS和Python:

在这里插入图片描述

要注意返回的变量名和输出变量需一致!!!

验证工作流

在这里插入图片描述

随便提问下,可以发现工作流正常运行起来了!!!

最常用的还是条件分支节点,根据关键字去匹配该去哪个分支,后续即可按照不同的Prompt去调用对应的LLM节点大模型及检索对应的知识库,目前来看,我们生产落地最稳的还是RAG。

转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/148607462

在这里插入图片描述

相关文章:

  • HashMap真面目
  • ( github actions + workflow 03 ) 手动添加 token, 防止权限不够
  • 价格性价比高系列的高性能单片机MS32C001-C
  • 新加坡金融管理局责令未获许可加密货币公司于6月30日前退出,Bitget、Bybit考虑撤离
  • 大模型在关键社会领域的应用研究:金融、医疗和法律
  • 河南农担携手Gitee企业版:构建农业金融数字化研发新基建
  • Vue.js 从入门到实战:用户管理分页表格项目详解
  • 需求文档:边缘计算机软件重装与物联网登录应用开发
  • Fastadmin报错Unknown column ‘xxx.deletetime‘ in ‘where clause
  • Catch2 开源库介绍与使用指南
  • 微机原理与接口技术,期末习题(一)
  • 一[1]、ubuntu18.04 安装yolov8 + 实际测试
  • 【精华】双向心跳交互革命:AG-UI协议重塑AI Agent前端开发范式
  • [论文阅读] 人工智能 | ComfyUI-R1: Exploring Reasoning Models for Workflow Generation
  • Python 爬虫入门 Day 1 - 网络请求与网页结构基础
  • 力扣HOT100之技巧:75. 颜色分类
  • 三、DevEco Studio安装和HelloWorld应用
  • 鸿蒙期末总结
  • 纯血HarmonyOS ArKTS NETX 5 打造小游戏实践:狼人杀(介绍版(附源文件)
  • React16,17,18,19更新对比
  • 怎么把自己做的网站放到百度上/网络销售的方法和技巧
  • 山西太原网站建设/创建免费网站
  • 短链接生成免费/百度提升优化
  • 刷赞网站空间免费/福州百度快速优化排名
  • html网站首页图片切换/广州seo优化效果
  • 公司网站建设预算/nba最新新闻新浪