Dify + Stable Diffusion实现文生图工作流【两种方式】
一、引言
最近在学习Dify工作流的一些玩法，下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。
Dify AI是一款强大的LLMOps（Language Model Operations）平台，专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型，适用于各种团队，无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念，使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。
Stable Diffusion是2022年发布的深度学习文本到图像生成模型，它主要用于根据文本的描述产生详细图像。
Dify与Stable Diffusion的协同价值
- Dify作为低代码AI开发平台的优势：可视化编排、API快速集成
- Stable Diffusion的核心能力：高效文生图、多模态生成
- 二者结合的意义：降低AI绘画开发门槛，加速创意落地
二、文生图工作流（SD接口）
2.1 实现流程
- 通过大模型将自然语言转换成SD提示词；
系统提示词
# 角色
你是一个专业的SD提示词提取专家，擅长从描述性画面中精准提取SD提示词。
## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时，仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符
## 限制:
- 只围绕从描述性画面中提取SD提示词展开，拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词，不能偏离框架要求。
- 调用SD接口实现文生图；
body参数
{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}
- 提取返回的base64编码格式的图片字符串；
通过代码块进行格式化
function main({body}) {
return {
result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
}
}
-
用该字符串构建markdown格式的字符串；
-
结果输出。
2.2 工作流流程
2.3 演示效果
使用这种调用接口的方式相对来说比较麻烦，调用接口将返回图片的base64编码字符串拼接成markdown格式并显示，下面将使用Dify内置的Stable Diffusion工具来实现文生图功能
三、文生图工作流（SD工具）
3.1 实现流程
- 通过大模型将自然语言转换成SD提示词（这一步跟前一种方式一样）
- 使用Stable Diffusion工具生成图片，生成图片会以文件的形式返回；
使用该工具首先需要进行授权，即配置SD服务地址和模型
使用这个工具可以非常方便的配置图片宽高、负向提示词等参数
- 结果输出
3.2 工作流流程
3.3 演示效果
四、文生图聊天机器人
-
将文生图工作流配置成工具
-
创建聊天机器人Agent
添加自定义工具
配置提示词
演示效果
