5-24 色彩与风格——T2IA自适应

前言：

上一节我们介绍了ControlNet中的inpaint局部重绘

主要介绍ControlNet中的T2IA自适应。

色彩风格的参考和借鉴能力，有点类似于5-17 reference参考图 或者 5-16 画面风格迁移-shuffle洗牌 。当然在硬件的要求，软件的算法实现和使用方式有所不同。

大家根据自行的使用需求选择和判断。

知识点：

1. T2IA自适应

T2I-Adapter 由腾讯 ARC 实验室和北大视觉信息智能学习实验室联合研发的一款小型模型，它的作用是为各类文生图模型提供额外的控制引导，同时又不会影响原有模型的拓展和生成能力。名称中 T2I 指的是的 text-to-image，即我们常说的文生图，而 Adapter 是适配器的意思。

T2I-Adapter 被集成在 ControlNet 中作为某一控制类型的选项，但实际上它提供了 Lineart、Depth、Sketch、Segmentation、Openpose 等多个类型的控图模型来使用。

T2I-Adapter 的特点是体积小，参数级只有 77M，但对图像的控制效果已经很好，且就在 9 月 8 日，它们针对 SDXL 训练的控图模型刚刚发布，是目前最推荐用于 SDXL 的 ControlNet 模型，但需要注意的是 SDXL 类模型对硬件要求较高，官方建议至少需要 15GB 的显卡内存，想体验的小伙伴可在下面地址中自行下载安装到本地。

T2I-Adapter 控图模型代码仓库地址： https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models

通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况，再配合提示词和风格模型将色彩应用到生成图上。

应用模型：Color。

Color 示例：（把参考图色彩分布应用到生成图上）

1. 选择一张色彩参考图。
2. 选择ControlNet 类型为 T2I-Adapter , 
   其中有几个选项
4. 按照色系，预览查看，可以看到一个个方块的ARGB呈现的色彩区块。
5. 点击生成，右侧的最终图片，就会按照我们给出的参考图中的主要色彩信息，生成图片。可以看到基本是蓝色，黑色为主的内容。

RA/SD 衍生者AI训练营