当前位置: 首页 > news >正文

◆comfyUI教程◆第2章06节 controlnet基础控制类型-线条类

摘要:ComfyUI线条类ControlNet预处理器分五类:Canny细致线(对应webui硬边缘,1.5版canny模型,调50-100低阈值、150-200高阈值);HED等模糊线(软边缘,1.5版softedge模型,线条渐变柔和);Lineart艺术线(分真实/动漫系,1.5版lineart模型,LineArtStandard转黑白线稿);MLSD线段(提直线,调刻痕/距离阈值,适建筑);Scribble涂鸦(粗略轮廓,1.5版scribble模型,四种类型),还可用“图像反转”节点反转线稿黑白。

    在webui中,我们自己根据功能特点将controlnet大致分为线条约束、三维关系、人体姿态、风格转换等几个大类。在comfyui中,controlnet预处理器的作者也按照功能特点对controlnet的预处理器进行了划分,我们可以看到controlnet预处理器的目录下有线条、面部与姿态、法向与深度等子目录。

   下面我们按照常用的功能,学习不同的控制类型,本节课先来了解线条类。 顾名思义,线条类指的是通过元素线条来增加约束,从而限制画面内容,常用的控制类型有有Canny细致线预处理器、SoftEdge软边缘预处理器、Lineart艺术线预处理器、MLSD线段预处理器、Scribble涂鸦预处理器。

1 canny细致线预处理器

    canny细致线预处理器对应的是webui中的canny硬边缘,在comfyui中新建路径如下:

    鼠标右键→新建节点→controlnet预处理器→线条→canny细致线预处理器

图片

“canny细致线预处理器”对应模型:--control_v11p_sd15_canny_fp16(大模型-1.5版本)

图片

    参数中,低阈值和高阈值负责控制预处理时提取线稿的复杂程度,两者的数值范围都限制在 1~255 之间。

    低阈值主要用于检测弱边缘,设置过低可能会引入噪声,检测到不真实的边缘;设置过高可能会遗漏真实的弱边缘。

    高阈值主要用于检测强边缘,设置过低可能会引入过多的边缘,设置过高可能会遗漏一些重要的边缘。

    一般情况下,初始情况我们设置低阈值在50-100范围,高阈值在150-200范围内进行调整尝试。

节点应用:

    应用逻辑是加载图像,通过预处理器提取线稿图,再与canny模型共同提交给controlnet应用节点进行处理。

图片

    注意:controlnet模型加载器中选择的是与canny细致线预处理器所对应的模型。

图片

2 模糊线预处理器(HED、PiDiNet、teed)

    canny细致线预处理器所提取的线条宽度统一,对图像的控制较为生硬。HED模糊线预处理器可以提取带有渐变效果的边缘线条,生成的画面看起来会更加柔和,过渡更加自然(对应webui中的softedge软边缘)。

     comfyui中controlnet预处理器中,HED模糊线预处理器、PiDiNet模糊线预处理器、teed线条预处理器都属于软边缘类预处理器。

(1)HED模糊线预处理器对应模型:control_v11p_sd15_softedge(1.5版本)

(2)PiDiNet模糊线预处理器对应模型:

control_v11p_sd15_softedge、control_v11p_sd15_scribble(1.5版本)

(3)teed线条预处理器对应模型:control_v11p_sd15_softedge(1.5版本)

    几种预处理器的预处理效果对比及出图控制对比案例:

图片

3 Lineart艺术线预处理器

    Lineart艺术线预处理器也是对图像元素边缘线稿进行提取,但它对应用场景划分的更为细致,区分为提取真实系图像特征和提取动漫系图像特征(注意:动漫类和写实类预处理器并非界限严格,是可以混用的,只是效果有所差异)。

    controlnet预处理器中,lineArt艺术线预处理器、AnimeLineArt动漫艺术线预处理器、LineArtStandard艺术线预处理器、MangaAnime漫画艺术线预处理器都属于该同一类型。

Lineart艺术线预处理器对应模型:control_v11p_sd15_lineart

    lineArt艺术线预处理器:主要用于真实系图像的线稿提取,比如真人、真实风景等,该预处理下线稿的提取十分细致。

    LineArtStandard艺术线预处理器:该预处理器主要将白底黑色的线稿图转化为controlnet应用可识别的黑底白色线稿图。

    AnimeLineArt动漫艺术线预处理器是通用的动漫风格图像线稿提取,MangaAnime漫画艺术线预处理器也是二次元风格图像的线稿提取,但是提取效果色彩更加明显。两者提取效果对比如下:

图片

4 MLSD线段预处理器

     MLSD主要提取参考图中的直线边缘,而会忽略曲线,常用于提取物体几何线条,如建筑设计、室内装修设计等。

    我们分别做一组人物图像、室外建筑图像的测试,可以看到通过MLSD提取出的仅有直线线条,无法用于人物图像的参考,而室外建筑图像的线条可以被很好的提取出来。

图片

    MLSD Value Threshold(刻痕阈值),范围0.01~2,可以理解为过滤直线程度,主要调整筛选线稿的直线强度,该值越大,则不够直的线条被过滤的越多,留下的直线越少。

    MLSD Distance Threshold(距离阈值),范围0.01~20,可以理解为过滤直线长度,主要筛选掉过短的直线,该值越大,则不够长的直线被过滤的越多,留下的直线越少。

5 Scribble涂鸦预处理器

    Scribble涂鸦提取的效果则是十分粗略的类似于蜡笔笔触的线条,基本只保留了图形内容的大致轮廓,图像生成时ai发挥空间也更自由。

    ComfyUI中有四种涂鸦类预处理器:FakeScribble伪涂鸦预处理器、Scribble涂鸦预处理器、ScribbleXDoG涂鸦预处理器、ScribblePiDiNet涂鸦预处理器

 这四种涂鸦类预处理器对应的模型都是:control_v11p_sd15_scribble(1.5版本)

    几种预处理器的处理效果主要差距在线条的宽松程度,我们对比下几种预处理器的效果及出图情况效果。

图片

    手绘涂鸦:

    可以通过手绘涂鸦图像作为参考底图,让comfyui参照底图及提示词等信息生成相对可控的图像。

    新建路径:新建节点→Alex节点→图像→绘画,打开节点painterNode

图片

四种预处理器效果:

图片

完整工作流效果示例:

图片

6 图像反转

    上文我们已经了解到LineArtStandard艺术线预处理器可以将白底黑线的线稿图转换为黑底白线的线稿图。

    另外还有“图像反转”节点有类似功能,可以将原图的黑白两色进行反转,方便用于下一步处理。

图片

图片

附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。

百度网盘链接: 

https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e 

夸克网盘链接:https://pan.quark.cn/s/f445b7325b47

    欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

图片

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。

 ——画青山Ai学习专栏———————————————————————————————

零基础学Webui:

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!

————————————————————————————————————

http://www.dtcms.com/a/478851.html

相关文章:

  • DQPSK 调制的基本原理
  • 网络协议分层:解密TCP/IP五层模型
  • 邢台集团网站建设html登录页面代码
  • 【开题答辩全过程】以 办公耗材采购与领用管理系统设计与实现为例,包含答辩的问题和答案
  • 重生之我在大学自学鸿蒙开发第三天-《三层架构》
  • 深入linux的审计服务auditd —— 筑梦之路
  • 杭州拱墅网站建设软文发布平台乐云seo
  • AL2系统下编译安装PSQL16.4版本
  • wrapper+ xml文件进行SQL编写
  • sql题目练习——聚合函数
  • 鄂尔多斯网站开发广东深圳龙岗区天气
  • 运用photoshop设计网站首页北京vi设计公司怎么样
  • Day61 Linux内核编译、裁剪与驱动开发基础
  • 哪个网站可以做ppt模板深圳网站设计公司费用是
  • 中国十大发布信息网站排名2021年9月重大新闻
  • VBA数据结构性能革命:Dictionary与Collection的终极对决
  • 从 0 到 1 理解读者写者问题与读写锁:操作系统并发编程入门
  • 框架--Spring
  • 贵州网站建设营销公司免费推广网站入口202
  • 10.9 了解鸿蒙生态
  • 【win32】FFmpeg 硬件解码器
  • 网站怎么做留言板块阿玛尼手表官方网站查询正品
  • Flutter 跨平台文件上传 - GetX + ImagePicker + Dio 实现
  • 实现提供了完整的 Flutter Web 文件上传解决方案
  • 黑群晖建设个人网站免费制作链接的软件
  • 网站设计毕业设计任务书网站怎样做301跳转
  • 互联网从业者的数据能力突围:从焦虑到破局的能力成长路径
  • 2025三掌柜赠书活动第三十八期 EDR逃逸的艺术:终端防御规避技术全解
  • 怎么在工商网站做实名认证企业网站的搭建流程
  • 第14讲:深入理解指针(4)——函数指针与“程序跳转术”