开始 ComfyUI 的 AI 绘图之旅-LoRA（五）

本篇将引导了解并完成单个 LoRA 模型的使用及同时应用多个 LoRA 模型

一、LoRA

LoRA 模型​（Low-Rank Adaptation） 是一种用于微调大型生成模型（如 Stable Diffusion）的高效技术。
它通过在预训练模型的基础上引入可训练的低秩矩阵，仅调整部分参数，而非重新训练整个模型，从而以较低的计算成本实现特定任务的优化，相对于类似 SD1.5 这样的大模型，LoRA 模型更小，更容易训练。

上面的图片对比了同样参数下 dreamshaper_8 直接生成和使用 blindbox_V1Mix LoRA 模型生成的图片对比，我们可以看到通过使用 LoRA 模型，可以在不调整基础模型的情况下，生成更符合我们需求的图片。

我们将演示如何使用 LoRA 的示例。所有 LoRA 变体：Lycoris, loha, lokr, locon, 等… 都是以这种方式使用。

在本示例中，我们将完成以下内容来学习ComfyUI 中加载并使用 LoRA 模型，将涉及以下内容：

1. 安装 LoRA 模型
2. 使用 LoRA 模型生成图片
3. Load LoRA 节点的简单介绍

1. 相关模型安装

请下载 dreamshaper_8.safetensors 并保存至 ComfyUI/models/checkpoints 目录

请下载 blindbox_V1Mix.safetensors 并保存至 ComfyUI/models/loras 目录

请下载 MoXinV1.safetensors 并保存至 ComfyUI/models/loras 目录

安装aria2快速下载模型，几乎能将我家1000M的宽带跑满，每秒80～90M,接下来的介绍模型都会给出安装命令。

apt install aria2

aria2c https://civitai.com/api/download/models/128713?type=Model&format=SafeTensor&size=pruned&fp=fp16 -o SourceCode/ComfyUI/models/checkpoints/dreamshaper_8.safetensors auto-file-renaming=false --allow-overwrite=falsearia2c https://civitai.com/api/download/models/32988?type=Model&format=SafeTensor&size=full&fp=fp16 -o SourceCode/ComfyUI/models/loras/blindbox_v1_mix.safetensors auto-file-renaming=false --allow-overwrite=falsearia2c https://civitai.com/api/download/models/14856?type=Model&format=SafeTensor&size=full&fp=fp16 -o SourceCode/ComfyUI/models/loras/MoXinV1.safetensors auto-file-renaming=false --allow-overwrite=false

小技巧：你要是打不开https://huggingface.co，可以将其换成为https://hf-mirror.com/试一试

2. LoRA 工作流文件

请下载下面的工作流图片,并拖入 ComfyUI 以加载工作流

Metadata 中包含工作流 json 的图片可直接拖入 ComfyUI 或使用菜单 `Workflows` -> `Open（ctrl+o）` 来加载对应的工作流。

3. 按步骤完成工作流的运行

请参照下图步骤，来确保对应的工作流可以正常运行

1. 确保Load Checkpoint 加载了 dreamshaper_8.safetensors
2. 确保Load LoRA 加载了 blindbox_V1Mix.safetensors
3. 点击 Queue 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行图片的生成

4. Load LoRA 节点介绍

位于ComfyUI\models\loras 的模型会被 ComfyUI 检测到，并在这个节点中加载

4.1 输入类型

参数名称	作用
model	连接基础模型
clip	连接 CLIP 模型
lora_name	选择要加载使用的 LoRA 模型
strength_model	影响 LoRA 对 模型权重（model）的影响程度，数值越大 LoRA 风格越强
strength_clip	影响 LoRA 对 CLIP 词嵌入（clip）的影响程度

4.2 输出类型

参数名称	作用
model	输出应用了 LoRA 调整的模型
clip	输出应用了 LoRA 调整的 CLIP 模型

该节点支持链式连接，可以将多个Load LoRA 节点串联来应用多个 LoRA 模型，具体请参考ComfyUI 应用多个 LoRA 示例

5.开始你的尝试

1. 试着修改提示词，或者调整 Load LoRA 节点的不同参数，比如 strength_model ，来观察生成图片的变化，熟悉对应节点。
2. 访问 CivitAI 网站，下载其它风格的 LoRA 模型，尝试使用。

二、多个 LoRA

本篇将引导你了解并完成在 ComfyUI 中同时应用多个 LoRA 模型

在 ComfyUI LoRA 使用示例 中，我们介绍了如何在 ComfyUI 中加载并使用 LoRA 模型，也提及了该节点支持链式连接。

在本篇中我们将使用链式连接Load LoRA节点的方式来同时使用多个 LoRA 模型，在本示例中，我们将使用 blindbox_V1Mix 和 MoXinV1 两个 LoRA 模型。

下图是这两个 LoRA 模型在同样参数下单独使用的效果

但通过多个 LoRA 模型链式连接后，我们可以在最终的效果中看到两种风格融合在一起的效果

1.相关模型安装（上面安装完了）

请下载 dreamshaper_8.safetensors 并保存至 ComfyUI/models/checkpoints 目录

请下载 blindbox_V1Mix.safetensors 并保存至 ComfyUI/models/loras 目录

请下载 MoXinV1.safetensors 并保存至 ComfyUI/models/loras 目录

2.多 LoRA 模型应用示例工作流

请下载下面的工作流图片,并拖入 ComfyUI 以加载工作流

Metadata 中包含工作流 json 的图片可直接拖入 ComfyUI 或使用菜单 `Workflows` -> `Open（ctrl+o）` 来加载对应的工作流。

3.按步骤完成工作流的运行

请参照下图步骤完成，确保工作流能够正常运行

1. 确保Load Checkpoint可以加载 dreamshaper_8.safetensors
2. 确保Load LoRA可以加载 blindbox_V1Mix.safetensors
3. 确保Load LoRA可以加载 MoXinV1.safetensors
4. 点击 Queue 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行图片的生成

4.开始你的尝试

1. 试着调整两个 Load LoRA 的 strength_model 参数，来修改不同 LoRA 模型对最终生成图片的影响
2. 访问 CivitAI 网站，下载其它风格的 LoRA 模型，组合出你满意的效果