Stable Diffusion入门-ControlNet 深入理解 第四课：风格迁移与重绘控制模型——让AI也有“艺术天赋”！

大家好，欢迎回到 Stable Diffusion入门-ControlNet 深入理解 系列的第四课！

如果你还没有看过上一课，赶紧补课哦：Stable Diffusion入门-ControlNet 深入理解 第三课。

上一课我们讲解了 ControlNet 结构类模型，今天我们继续带你了解 风格迁移类模型 和 重绘控制类模型，这两种模型将帮助你在AI绘画中自由玩转“艺术创作”和“创意修图”。

准备好了吗？让我们一起来揭开这些神奇的模型的面纱！

---

一、风格迁移类模型——让AI学会“模仿大师”

风格迁移类模型的作用，就是让AI学习一张参考图的“风格”，然后将这种风格应用到你给定的新图像上。

这就像是你给AI看了一幅蒙娜丽莎的画，然后让它根据蒙娜丽莎的风格去画你的自拍。

是不是听起来就很酷？

1. Shuffle洗牌——风格大变样

Shuffle 算法的作用简单来说就是“打乱”。

它通过打散参考图的配色来获取信息，并将这种风格应用到新的图像上。

换句话说，AI会“模仿”你给它的参考图的配色，但它并不会完全复制，而是给你一张“新”图，保持了参考图的色调，又不失原创感。

需要注意的是，这个 ControlNet 只对1.5模型有效，别忘了，随着时间的推移，这个预处理器可能会被逐渐淘汰哦！

2. Instant-ID——让面部特征完美迁移

Instant-ID 是由小红书开发的面部特征迁移模型，它的厉害之处在于，它可以对面部特征进行精准的迁移，确保新的图像能够完美呈现出参考图中的人物面部特点。

比如，你可以给AI看一张你朋友的照片，然后让它画出一张完全符合你朋友面部特征的新画像。

这个模型的使用要求有点特殊：

• 只能在 SDXL 大模型中使用。
• 提示词引导系数（CFG Scale）需要比通常的设置值低 3-5，否则可能会出现“涂抹感”很强的问题。
• 需要两个 ControlNet 来配合使用，每个对应不同的面部特征处理。

3. IP-Adapter——腾讯的“黑科技”适配器

IP-Adapter 是腾讯实验室发布的一个新适配器，它的主要作用是将输入的图像作为图像提示词进行风格迁移。

就像 MJ（MidJourney）的垫图一样，它能帮助AI学习参考图的风格，然后把这些风格应用到你的图像上。

这个适配器有多种预处理器，其中有些是专门用来换脸的——比如 face_id 系列，就能让你给AI一张照片，然后生成一个类似面部特征的图像。

需要注意的是：IP-Adapter 配合 Lora 使用时，必须确保 Lora 和 ControlNet 的模型一致，否则可能效果不理想。

4. Reference参考——让AI学会“借鉴”

Reference 预处理器的强大之处在于，它可以根据给定的参考图像的配色、色调、风格等，生成一张具有相同风格的新图像。

不同的是，生成的图像会在保持原图风格的同时，产生一定的多样性差异。

你可以使用 reference_adain 来生成二次元风格的图像，或者使用 reference_only 来进行更通用的风格迁移。

如果你需要更复杂的风格迁移效果，可以选择 Reference_adain+attn，它能够生成更高级的特征转换效果。

注意: reference只有预处理器，没有模型:

---

二、重绘控制类模型——让AI也能进行“创意修图”

风格迁移让AI模仿画风，而 重绘控制类模型 则是让AI进行图像的“创意重绘”，无论是修图、换背景，还是改变人物姿势，这些都能通过重绘控制类模型来实现。

1. OpenPose-姿态——让AI了解人物动作

在第一篇文章中，我们介绍过 OpenPose，它是用来控制人物姿势和形态的模型。

通过 OpenPose，你可以让AI精确地理解人物的动作，比如跳舞、跑步、摆姿势等。

dw_openpose_full 是当前最强的预处理器之一，它是 OpenPose_full 的增强版，能够让AI识别并生成更加精细的人物姿势。而 animal_openpose 甚至能够识别动物的姿势，真的是突破性进展！

2. Inpaint局部重绘——局部修图，效果满分

Inpaint 系列模型主要用于局部重绘，通常用于扩图或者细节修复。

如果你有一张图像想要扩展，或者其中某些部分需要进行修改，inpaint_only 可以帮助你在保留原图内容的基础上，生成新内容。

而 inpaint_only+lama 则可以彻底抹除原有内容后重新生成，非常干净。

inpaint_global_harmonious 全局融合算法,因此会导致涂抹以外的区域也发生一些变化，并且整体画面的颜色也会发生改变。

3. InstructP2P——指令式修图

想让一张图片变成另一种完全不同的风格？比如说，“让它变成火焰”？InstructP2P 就能实现这个梦想！通过这个模型，你可以给AI一个简单的指令：“Make Y into X”，它会根据你的指令对图像进行创意修改。

4. Recolor重上色——AI的“涂色书”功能

如果你已经有了一张图，但想给它重新上色，Recolor 系列模型就派上用场了。

它可以调节图像的亮度和强度，为图像增加新的色彩效果。只要你告诉AI，你想要的色调是什么，它就能帮你把图像重新上色，焕发新生。

5. Tile——给图片加点“小细节”

Tile 模型的作用就是在保持图片布局的基础上，给图片添加细节。

它经常用来进行高清修复、画质提升，甚至可以用来转换图片风格，像是将真人照片转为漫画风格，或者做艺术字的设计。

• tile_resample(分块-重采样)：仅保持图片布局，颜色会进行一些变化。（常用）

• tile_colorfix+sharp(分块-固定颜色+锐化)：保持图片布局的同时固定图片的颜色，并做一些锐化

• tile_colorfix(分块-固定颜色)：保持图片布局的同时固定图片的颜色

• blur_gaussian(模糊-高斯模糊)：主要用于调整景深用的

tile 突出用途之一是和tile_diffusion及tile_vae三者组合进行图生图放大，可以显著提高运行效率及放大效果。

---

总结

今天，我们探讨了 风格迁移类模型 和 重绘控制类模型，它们将让你的创作更加自由、多样。

从风格迁移到局部修图，从姿态控制到图像重上色，ControlNet 为AI绘画提供了无尽的创意空间。

下一课，我们将深入探讨 ControlNet 的其他高级应用，敬请期待！有任何问题或者想法，欢迎在评论区和我互动，我们下课见！