◆comfyUI教程◆第2章13节 XL模型专用工作流与refiner精炼
摘要:本文详解 ComfyUI 中 SDXL 大模型的适配工作流搭建,以充分发挥其特性。基础层需用 “CLIP 文本编码 SDXL”(路径:高级→条件)替代普通编码器,正负面条件均需替换,且两个文本框需均填画面描述。XL模型标准完整工作流含两次采样:先经 BASE 模型采样,再用 Refiner 模型精炼(强化细节、修正瑕疵)。Refiner 需配 “CLIP 文本编码 SDXL(Refiner)”,且需 “K 采样器(高级)” 区分两个采样阶段。
基础文生图工作流中,我们可以选择XL版本大模型并进行正常使用,但实际出图效果并不能完全发挥出XL版本的大模型特性。为了更好地发挥出XL大模型的特点,在使用SDXL模型是,可以使用XL专用节点搭建适配XL大模型的工作流。
1 XL模型专用工作流
XL模型工作流需要使用到的节点是“CLIP文本编码SDXL”,这是专为XL模型生成图像设计的文本编码器,它能够将输入的文本转化为图像特征,实现文本与图像的深度融合。
1.1 节点路径
添加节点→高级→条件→CLIP文本编码SDXL
1.2 节点参数
宽度/高度:CLIP空间的宽高,一般设置为像素空间图像的 2~4倍。
裁剪宽高:对图像进行裁剪,以获得更理想的构图,不需要时默认为0即可。
目标高度/目标宽度:输入图像的宽高目标,可适当提高目标值,一般也设置为像素空间图像的2~4倍。
1.3 使用方法
在基础文生图中,使用“CLIP文本编码SDXL”替代普通的“CLIP文本编码器”即可。
注意:
(1)正面条件对应的“CLIP文本编码SDXL”节点的两个文本框中均需填入对画面的描述,只填写其中之一,出现的画面容易出现与描述词不符的情况。
(2)负面条件的文本编码器也需要使用“CLIP文本编码SDXL”替代普通的“CLIP文本编码器”,经过实测负面条件使用不同的文本编码器最终获取的图像也会出现不同。
1.4 案例
(1)“CLIP文本编码SDXL”的宽度、高度、目标宽度、目标高度均设置为4096;裁剪宽度、裁剪高度均保持默认的0;
(2)正面条件的“CLIP文本编码SDXL”中,text_g填入自然语言描述的画面内容:
Bust of a beautiful girl with long curly brown hair and dark eyes, she is wearing a white dress, standing on the moonlit beach, the overall picture is Morandi tones.
(3)正面条件的“CLIP文本编码SDXL”中,text_l填入断句、词组描述的画面内容:
A beautiful girl,long brown curly hair,dark eyes,white dress,night,moon,seaside,Morandi color,soft light,half-body shot,
(4)负面条件的“CLIP文本编码SDXL”中,text_l填入反向提示词,案例中使用XL版本的embedding:XL\DeepNegative_xl_v1,
(5)选择大模型,设置画面分辨率,K采样器的参数设置参照普通文生图流程。
SDXL的基础文生图流程及效果如下:
测试相同条件下,普通文生图流程与SDXL文生图的效果对比:
2 Refiner精炼器
标准的SDXL完整工作流实际上共需进行两次采样,先通过BASE模型跑前面步数,再用Refiner模型跑后面的步数,使用Refiner模型采样阶段用来强化画面细节,因此这一过程也被常被称为精炼。
Refiner模型主要作用是提升图像的细节和整体视觉效果,也可以在精炼过程中修正一些瑕疵,并改进颜色和图像清晰度等。
2.1 CLIP文本编码器SDXL(Refiner)
Refiner模型需要专门的文本编码器:CLIP文本编码器SDXL(Refiner)
2.1.1 节点路径
添加节点→高级→条件→CLIP文本编码器SDXL(Refiner)
2.1.2 节点参数
美学分数:控制细节增加幅度,一般取值3-6有较好的效果。
宽度/高度:设置成目标图像尺寸即可。
文本框:输入内容与正面/负面的“clip文本编码SDXL”文本内容保持一致即可。
2.1.3 “元节点”共享文本输入
由于每次调整“CLIP文本编码器SDXL”节点的提示词,都需要对“CLIP文本编码器SDXL(Refiner)”的内容同步修改过于繁琐,此处可以借助“元节点”将提示词变为独立输入内容进行共享。
2.2 K采样器(高级)
前文已经说到,标准的SDXL完整工作流实际上共需进行两次采样,Refiner精炼是第二步采样,所以需要在采样器中区分采样的阶段和步数,此时常规的“K采样器”便无法实现这个功能,需要引入节点“K采样器(高级)”。
2.2.1 新建路径
添加节点→采样→K采样器(高级)
2.2.2 节点参数
对比K采样器,K采样(高级)不同的参数分别作用如下:
(1)添加噪波:
是否添加噪声;base 模型所连接的采样器,需要通过降噪初步生成画面,应打开添加噪波(enable);refiner 模型连接的采样器,对已生成的画面进行细化,应关掉添加噪波(disable);
(2)开始/结束降噪步数:迭代开始的步数;base模型所连接的采样器,从0步开始生成画面,开始降噪步数应设置为0;refiner 模型连接的采样器,需要从base模型结束的步数继续处理,开始降噪步数应设置为base模型的结束步数,结束降噪步数则只要大于总出图步数即可(一般保持默认的10000即可)。
(3)返回噪波:是否返回未迭代完的剩余噪声,即是否将剩余噪波传输到下一步。base模型连接的采样器的返回噪波打开,refiner模型连接采样器的返回噪波关闭;
注意:base模型和refiner模型所连接的采样器“步数”应设置相同,指总步数。
2.3 完整工作流
refiner工作流的结构可以看成是文生图+图生图工作流的组合,工作流前半部分为SDXL模型文生图工作流,将生成的latent发送给refiner工作流以图生图的形式继续处理。主要要点是两个K采样器(高级)中步数等参数的调整。
使用“元节点”共享文本输入,工作流变形为:
附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。
百度网盘链接:
https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e
夸克网盘链接:https://pan.quark.cn/s/f445b7325b47
欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。
——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.csdn.net/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.csdn.net/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.csdn.net/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
————————————————————————————————————