AI绘画-Stable Diffusion-WebUI的ControlNet用法

前言

  WebUI中的功能十分多无法一一说明，个人多进行尝试和探索才能更加熟练工具的应用；在本章中将会介绍WebUI中Controlnet的基本用法

1 Controlnet基本概念

• 指通过额外输入（如线稿、深度图、姿态图等）对图像生成过程进行精准控制的神经网络模块，使AI能严格遵循构图、结构或动作约束进行创作

• 单元：每个单元代表一个独立的控制模块，可单独配置输入图（如线稿/深度图）、预处理器、模型及权重参数，实现对生成过程某一维度（如构图/姿势/边缘）的精准约束；可以在设置->ControlNet中设置单元数量

• 从左到右，第一个是创建一个类似于涂鸦画布，第二个是打开摄像头，第三个是反转摄像头，第四个是将当前的图片尺寸信息发送到生成设置中

2 Controlnet选项介绍

名称	功能
启动	如果要使用Controlnet功能，那么必须勾选
低显存模式	电脑性能不足时开启
完美像素模式	一般都会开启，使生成图片更加的精细
允许预览	可以预览到设置参数后预处理器出来的效果
控制类型	指用户选择的、对生成图像施加约束的具体维度，决定了ControlNet将如何解读输入图并限制AI的创作方向；下面部分会对常用类型进行解释
预处理器	把用户的涂鸦、照片等原始输入“翻译”成AI能精准理解的数学控制信号
模型	解析预处理后的控制信号，实时监督生成过程是否“越界”，确保最终画面符合用户设定的框架
控制权重	在生成图象时参考Controlnet参数的占比，比如设置为1则50%参考Controlnet，50%参考提示词的内容
引导介入时机	Controlnet参与生成图像的时机，例如设置为0.2时，在生成到20%之后再让Controlnet参与到生成图像中
引导终止时机	Controlnet结束参与生成图像的时机
控制模式	控制权重的再调节
缩放模式	一般选择缩放后填充空白

3 Controlnet常用控制类型

3.1 Canny硬边缘

• Canny硬边缘是指通过特定算法提取图像中锐利、高对比度的结构轮廓线，并将其转化为黑白分明的线稿图，以强制AI在生成时严格遵循这些边界进行绘制

• 一般用于手机模型图生成多配色方案、CAD平面图渲染逼真材质效果、宝石线稿生成金属镶口光影

• 如果有不想要的部分，可以保存预处理后的图像，在PS中涂抹掉对应的部分，重新放到图像中，预处理器选择none

3.2 Lineart线稿

• Lineart线稿控制是指通过专用算法提取或输入纯净的线条轮廓图，引导AI严格遵循线条结构进行上色和细节填充，实现手稿到成图的精准转化

• 一般用于分镜草稿批量生成完成稿、手绘人物生成多套配色方案、山水白描渲染水墨效果

3.3 Depth深度

• Depth深度控制是指通过灰度图编码场景的空间层次（近亮远暗），强制AI在生成时严格遵循三维空间关系，实现精准的景深模拟与立体结构重建

• 一般用于手绘平面图渲染逼真室内光影、低模白盒生成高细节材质贴图、草图模拟镜焦外虚化

3.4 NormalMap法线贴图

• NormalMap法线贴图控制是指通过RGB色彩编码表面角度信息，强制AI在生成时精确模拟光线与物体表面的互动，实现微观几何结构的真实光影渲染

• 一般用于低模基体生成4K PBR材质、手机3D白模渲染拉丝金属/磨砂玻璃、演员面部扫描生成老化皮肤

3.5 MLSD直线

• MLSD直线控制是指通过算法提取并强化图像中的直线几何结构，强制AI生成横平竖直的透视关系，彻底消除扭曲变形

• 一般用于手绘平面图生成鸟瞰渲染图、零件草图渲染三维等距剖视图、毛胚房图片虚拟改造多套方案

3.6 SoftEdge软边缘

• SoftEdge软边缘控制是指通过概率化边缘检测算法提取柔和、带有过渡的自然轮廓线，引导AI生成保留原始构图但消除生硬边界的艺术化图像

• 一般用于摄像原图生成浪漫柔焦大片、山水照片渲染水墨渲染效果、怪物草图生成雾气缭绕的鳞甲皮毛

3.7 Segmentation语义分割

• Segmentation语义分割控制是指通过色彩编码将图像划分为不同语义区域，强制AI在生成时严格遵循分区逻辑进行针对性内容创作

• 一般用于土地利用色块图生成卫星级实景渲染、产品位置标记自动合成多风格场景图、角色运动轨迹色带生成连贯动作序列

3.8 Tile分块

• Tile分块控制是指将图像拆解为局部区域独立处理，引导AI专注增强每个分块内的细节纹理，最终合成超高分辨率图像且避免全局结构畸变

• 一般用于古籍扫描碎片生成完整高清文献、低清材质模板输出8K PBR纹理、草稿分块精修合成巨幅壁画