◆comfyUI教程◆第2章06节 controlnet基础控制类型-线条类
摘要:ComfyUI线条类ControlNet预处理器分五类:Canny细致线(对应webui硬边缘,1.5版canny模型,调50-100低阈值、150-200高阈值);HED等模糊线(软边缘,1.5版softedge模型,线条渐变柔和);Lineart艺术线(分真实/动漫系,1.5版lineart模型,LineArtStandard转黑白线稿);MLSD线段(提直线,调刻痕/距离阈值,适建筑);Scribble涂鸦(粗略轮廓,1.5版scribble模型,四种类型),还可用“图像反转”节点反转线稿黑白。
在webui中,我们自己根据功能特点将controlnet大致分为线条约束、三维关系、人体姿态、风格转换等几个大类。在comfyui中,controlnet预处理器的作者也按照功能特点对controlnet的预处理器进行了划分,我们可以看到controlnet预处理器的目录下有线条、面部与姿态、法向与深度等子目录。
下面我们按照常用的功能,学习不同的控制类型,本节课先来了解线条类。 顾名思义,线条类指的是通过元素线条来增加约束,从而限制画面内容,常用的控制类型有有Canny细致线预处理器、SoftEdge软边缘预处理器、Lineart艺术线预处理器、MLSD线段预处理器、Scribble涂鸦预处理器。
1 canny细致线预处理器
canny细致线预处理器对应的是webui中的canny硬边缘,在comfyui中新建路径如下:
鼠标右键→新建节点→controlnet预处理器→线条→canny细致线预处理器
“canny细致线预处理器”对应模型:--control_v11p_sd15_canny_fp16(大模型-1.5版本)
参数中,低阈值和高阈值负责控制预处理时提取线稿的复杂程度,两者的数值范围都限制在 1~255 之间。
低阈值主要用于检测弱边缘,设置过低可能会引入噪声,检测到不真实的边缘;设置过高可能会遗漏真实的弱边缘。
高阈值主要用于检测强边缘,设置过低可能会引入过多的边缘,设置过高可能会遗漏一些重要的边缘。
一般情况下,初始情况我们设置低阈值在50-100范围,高阈值在150-200范围内进行调整尝试。
节点应用:
应用逻辑是加载图像,通过预处理器提取线稿图,再与canny模型共同提交给controlnet应用节点进行处理。
注意:controlnet模型加载器中选择的是与canny细致线预处理器所对应的模型。
2 模糊线预处理器(HED、PiDiNet、teed)
canny细致线预处理器所提取的线条宽度统一,对图像的控制较为生硬。HED模糊线预处理器可以提取带有渐变效果的边缘线条,生成的画面看起来会更加柔和,过渡更加自然(对应webui中的softedge软边缘)。
comfyui中controlnet预处理器中,HED模糊线预处理器、PiDiNet模糊线预处理器、teed线条预处理器都属于软边缘类预处理器。
(1)HED模糊线预处理器对应模型:control_v11p_sd15_softedge(1.5版本)
(2)PiDiNet模糊线预处理器对应模型:
control_v11p_sd15_softedge、control_v11p_sd15_scribble(1.5版本)
(3)teed线条预处理器对应模型:control_v11p_sd15_softedge(1.5版本)
几种预处理器的预处理效果对比及出图控制对比案例:
3 Lineart艺术线预处理器
Lineart艺术线预处理器也是对图像元素边缘线稿进行提取,但它对应用场景划分的更为细致,区分为提取真实系图像特征和提取动漫系图像特征(注意:动漫类和写实类预处理器并非界限严格,是可以混用的,只是效果有所差异)。
controlnet预处理器中,lineArt艺术线预处理器、AnimeLineArt动漫艺术线预处理器、LineArtStandard艺术线预处理器、MangaAnime漫画艺术线预处理器都属于该同一类型。
Lineart艺术线预处理器对应模型:control_v11p_sd15_lineart
lineArt艺术线预处理器:主要用于真实系图像的线稿提取,比如真人、真实风景等,该预处理下线稿的提取十分细致。
LineArtStandard艺术线预处理器:该预处理器主要将白底黑色的线稿图转化为controlnet应用可识别的黑底白色线稿图。
AnimeLineArt动漫艺术线预处理器是通用的动漫风格图像线稿提取,MangaAnime漫画艺术线预处理器也是二次元风格图像的线稿提取,但是提取效果色彩更加明显。两者提取效果对比如下:
4 MLSD线段预处理器
MLSD主要提取参考图中的直线边缘,而会忽略曲线,常用于提取物体几何线条,如建筑设计、室内装修设计等。
我们分别做一组人物图像、室外建筑图像的测试,可以看到通过MLSD提取出的仅有直线线条,无法用于人物图像的参考,而室外建筑图像的线条可以被很好的提取出来。
MLSD Value Threshold(刻痕阈值),范围0.01~2,可以理解为过滤直线程度,主要调整筛选线稿的直线强度,该值越大,则不够直的线条被过滤的越多,留下的直线越少。
MLSD Distance Threshold(距离阈值),范围0.01~20,可以理解为过滤直线长度,主要筛选掉过短的直线,该值越大,则不够长的直线被过滤的越多,留下的直线越少。
5 Scribble涂鸦预处理器
Scribble涂鸦提取的效果则是十分粗略的类似于蜡笔笔触的线条,基本只保留了图形内容的大致轮廓,图像生成时ai发挥空间也更自由。
ComfyUI中有四种涂鸦类预处理器:FakeScribble伪涂鸦预处理器、Scribble涂鸦预处理器、ScribbleXDoG涂鸦预处理器、ScribblePiDiNet涂鸦预处理器
这四种涂鸦类预处理器对应的模型都是:control_v11p_sd15_scribble(1.5版本)
几种预处理器的处理效果主要差距在线条的宽松程度,我们对比下几种预处理器的效果及出图情况效果。
手绘涂鸦:
可以通过手绘涂鸦图像作为参考底图,让comfyui参照底图及提示词等信息生成相对可控的图像。
新建路径:新建节点→Alex节点→图像→绘画,打开节点painterNode
四种预处理器效果:
完整工作流效果示例:
6 图像反转
上文我们已经了解到LineArtStandard艺术线预处理器可以将白底黑线的线稿图转换为黑底白线的线稿图。
另外还有“图像反转”节点有类似功能,可以将原图的黑白两色进行反转,方便用于下一步处理。
附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。
百度网盘链接:
https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e
夸克网盘链接:https://pan.quark.cn/s/f445b7325b47
欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。
——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.csdn.net/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.csdn.net/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.csdn.net/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
————————————————————————————————————