◆comfyUI教程◆第1章04节 认识功能界面与基础生图流程
《ComfyUI从入门到精通》全套课程已发布,详细图文讲解,提供示例工作流及配套模型下载,适合零基础学员自学。课程持续更新中,跟进测评新模型不掉队。
本节课开始comfyUI操作的正式学习,学习的第一步,我们先来认识一下comfyUI的操作界面及功能划分;打开comfyUI可以看到整个界面十分简洁,界面主要分为“工作流区域”和“操作面板”两大板块,另外在屏幕的四角零散分布着一些功能图标。
1 工作流区域
工作流区域是绘制工作流的主要工作空间,在这里我们可以添加、删减、编辑、连线工作节点,使之形成具备生图能力的工作流。
1.1 工作流定义
工作流由节点(Node)和连线(Edge)组成:节点是工作流的主体,我们可以把工作流看成一个个独立的功能模块,通过连线将他们连接起来形成完整的功能流水线。
1.2 节点分类
(1)有些节点只有输出(output),说明它不需要预处理,该节点功能主要是给后续节点输入条件,例如:checkpoint加载器
(2)有些节点既有输入(input)也有输出(output),说明它是中间节点,在工作流的处理过程中给予新的条件,例如:CLIP文本编码器
(3)有些节点只有输入(input),说明它是一个输出节点,通过接收上层节点的信息并反馈结果,例如:预览图像
1.3 流水线方向
连线流水方向的原则:对整个界面来说大致是从左向右的原则,对于每一条连线来说是从上一个节点的output至下一个节点的input。
2 操作面板区域
2.1 旧版操作面板
旧版操作面板区域默认在工作界面的右侧,它集成了comfyUI一些常用功能,用于工作流的执行、保存、加载、刷新等功能。
添加提示词队列:将工作流加入运行队列并执行,工作流的启动端口;
Crystools展示面板区:显示电脑资源使用情况;
更多选项:勾选后可以调整图片生成相关选项,如单次生成数量,当参数变化时自动执行图片生成任务等;
保存:保存当前工作流到电脑,生成工作流文件,格式为.json;
加载:加载打开一个既有的动作流文件;
刷新:刷新界面;
剪贴空间:查看复制到剪切空间的内容;
清除:清除当前工作界面上的所有工作流内容;
加载默认:加载系统默认的文生图工作流;
manager:管理器插件,管理节点;
另外,点击操作面板右上角的齿轮端口,可以打开设置界面,可以用于调整软件整体控制参数。
2.2 新版工作界面
最新版本的comfyui的操作界面已经进行了升级调整,不过虽然页面布局发生了变化,但主要是布局的调整,基本功能并无区别。
新版界面将各项功能拆分布局到工作空间的四个边缘,这样工作界面更加清爽,不容易受到干扰,且熟练使用后新版界面效率更高。
3 基础文生图流程
3.1 初识文生图节点流程
打开comfyUI时系统已自带一个基础的文生图工作流,我们可以借助这个基础的工作流来认识工作流的组成。
我们同步打开webUI文生图界面进行功能对照,方便大家认识comfyUI基础工作流中对应的节点功能。
可以将基础工作流划分为:条件输入区、潜空间处理区、像素空间区
(1)K采样器
K采样器是comfyUI出图流程的核心节点,所有节点、数据、参数配置等最后会汇总到K采样器,K采样器结合载入的模型和参数信息等做采样计算,最后输出图像。
(2)checkpoint加载器
checkpoint加载器即大模型加载器,此节点负责选择大模型,是整个出图流程的起始节点。(对应webUI中最上方的大模型选择)
(3)Clip文本编码器
Clip文本编码器即提示词输入框,所以正常也需要两个,一个负责正向提示词,一个负责负向提示词,分别通过连线连接至K采样器的正面条件、负面条件两个端口。(对应webUI中正向提示词输入和负面提示词输入)
(4)空latent
使用空latent建立潜空间图像,主要用于控制图像生成尺寸和批次数量。(对应webUI中图像尺寸调节与生成批次)
(5)VAE解码
VAE解码负责将潜空间的数据转换为正常图像。(对应webUI中最上方的VAE选择,尽管部分大模型中已集成VAE,仍需要VAE解码节点才能将潜空间数据转换为图像)
(6)保存图像
输出节点,负责生成及预览图像。(对应webUI图片生成区)
该节点除了在工作流程界面能看到图像外,也可以在本地文件夹(根目录\output)下看到所有生成的图片。
3.2 文生图流程搭建
认识基础文生图流程主要节点及对应的webUI界面功能后,我们点击manager的“清除”端口删除原流程,一起尝试自行建立基础文生图流程。
我们可以看到K采样器是基础文生图流程中输入/输出端口最多的节点,在空白画布上添加流程时一般先右键安装K采样器,再从K采样器引出安装其它节点。这里我们可以把K采样器看当作电脑主机,组装电脑时我们先安置电脑主机,再通过连线安装键盘、鼠标、显示器等。
(1)鼠标右键点击空白界面,选择 新建节点-采样-K采样器
(2)点击拖拽K采样器左侧的"模型"端口,从弹出的窗口中新建“checkpoint加载器”。(用于大模型选择)
(3)分别点击拖拽K采样器左侧的“正面条件”和“负面条件”端口,从弹出的窗口中搜索新建“Clip文本编码器”。生成的“Clip文本编码器”左侧的端口与“checkpoint加载器”右侧的端口连接。(用于输入提示词)
(4)点击拖拽K采样器左侧的"Latent"端口,从弹出的窗口中新建“空Latent”。(用于输入图像尺寸信息)
(5)点击拖拽K采样器右侧的"Latent"端口,从弹出的窗口中新建“VAE解码”。
(6)点击“VAE解码”右侧的“图像”端口,从弹出的窗口中新建“保存图像”。
(7)点击“checkpoint加载器”右侧的“VAE”端口与“VAE解码”左侧的“VAE”进行连接。
如有未连接的端口,点击运行时软件会自动进行报错,并可以看到未连接的节点端口。
4 基础图生图流程
文生图的原理是通过大模型+提示词等条件在一张空的lantent上进行尺寸设定,而图生图的原理则是在文生图基础上,用一张既有的图像替代空lantent进行扩散生图,最终在保留原图像一定权重的基础上融入新的变化。
根据上述原理,我们在文生图工作流先删除“空lantent”节点,右键新建节点“图像”→“加载图像”,即可以在此节点上传图像。
由于图像信息无法直接传递信息到潜空间,所以在“加载图像”后面还需增加一个“VAE编码”,将图像信息编码成计算机可以理解的语言,再输送到采样器即可。
经过测试,可以看到在上述条件下,图生图默认出图尺寸与参考图像相同,那么如何调整出图的大小呢?在“加载图像”后,新建“图像缩放”节点,“加载图像”节点后通过图像缩放再编码成VAE即可。
5 工作流要点及关键线路
5.1 工作流搭建要点
一般先建立K采样器,再从K采样器生成其它节点;
一个输出节点可以向后连接多个输入节点,但是每个输入节点之前只能连接一个输出节点。(即输出节点可以输出多条线,但是输入节点前面只有一条线)
节点上的端口只有与同种类(同颜色)端口进行连线(初学者不必被眼花缭乱的线条吓到,不匹配的圆点无法连接);
部分端口可以连接多条线,比如checkpoint加载器可以连接多个Clip文本编码器;
点击运行后,可以看到正在运行的节点(显示绿框);无法运行的节点会自动爆红报错,便于检查;
5.2 整理“关键线路”
“关键线路”:通过基础文生图流程,我们可以将开始节点“模型加载”至“图像生成”的线路从左到右视为一个串联的主线,可以将其称为“关键线路”。
图生图的空letent等在工作流过程中提供参数变量的节点可以视为并联节点;lora、controlnet等功能组的核心节点则是作为新的条件穿插进关键线路中,可以视为串联进关键线路。
串联、并联并非衡量工作流是否生效的决定性因素,但理清“串联”、“并联”,找出“关键线路”,有助于我们保持清晰的工作流设置逻辑,也有助于我们拆解分析其它人分享的复杂工作流。
附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。
网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。
百度网盘链接:
https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e
夸克网盘链接:https://pan.quark.cn/s/f445b7325b47
欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。