开始 ComfyUI 的 AI 绘图之旅-SD3.5文生图和图生图（全网首发，官网都没有更新）（十五）
文章标题
- 系列文章
- 一、什么是Stable Diffusion？
- 1.Stable Diffusion 模型版本
- 2.SD3.5模型下载
- 二、SD3.5工作流介绍
- 1.SD3.5简单版本
- 2.SD3.5 ControlNet canny
- 3.SD3.5 ControlNet blur
- 4.SD3.5 ControlNet depth
系列文章
- 基础篇
- 开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion文生图（一）
- 开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图（二）
- 开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图之局部重绘（Inpaint）和扩图（Outpaint）（三）
- 开始 ComfyUI 的 AI 绘图之旅-RealESRGAN图生图之图像放大（四）
- 开始 ComfyUI 的 AI 绘图之旅-LoRA（五）
- 开始 ComfyUI 的 AI 绘图之旅-ControlNet（六）
- Flux.1
- 开始 ComfyUI 的 AI 绘图之旅-Flux.1文生图（全网首发，官网都没有更新）（七）
- 开始 ComfyUI 的 AI 绘图之旅-Flux.1图生图（八）
- 开始 ComfyUI 的 AI 绘图之旅-Flux.1图生图之局部重绘（Inpaint）和扩图（Outpaint）（九）
- 开始 ComfyUI 的 AI 绘图之旅-Flux.1 ControlNet & Lora（十）
- 进阶篇
- 开始 ComfyUI 的 AI 绘图之旅-Qwen-Image（十一）
- 开始 ComfyUI 的 AI 绘图之旅-Qwen-Image-Edit（十二）
- 开始 ComfyUI 的 AI 绘图之旅-Cosmos Predict2世界模型文生图（全网首发，官网都没有更新）（十三）
- 开始 ComfyUI 的 AI 绘图之旅-SDXL文生图和图生图（全网首发，官网都没有更新）（十四）
一、什么是Stable Diffusion？
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。
它是一种潜在扩散模型，由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。[3]它是由初创公司StabilityAI、CompVis与Runway合作开发，并得到EleutherAI和LAION的支持。截至2022年10月，StabilityAI筹集了1.01亿美元的资金。
Stable Diffusion的源代码和模型权重已分别公开发布在GitHub和Hugging Face，可以在大多数配备有适度GPU的电脑硬件上运行。而以前的专有文生图模型（如DALL-E和Midjourney）只能通过云计算服务访问。
1.Stable Diffusion 模型版本
来源：https://zh.wikipedia.org/zh-cn/Stable_Diffusion
| 版本号 | 发行日期 | 参数 | 注释 |
|---|---|---|---|
| 1.1, 1.2, 1.3, 1.4 | 2022年8月 | 都由CompVis发行。没有版本1.0。1.1引发1.2，而1.2引发1.3和1.4二者[33]。 | |
| 1.5 | 2022年10月 | 983M | 以1.2而非1.4的权重初始化。由RunwayML发行。 |
| 2.0 | 2022年11月 | 从头在过滤后的数据集上重新训练[36]。 | |
| 2.1 | 2022年12月 | 以2.0的权重初始化。 | |
| XL 1.0 | 2023年7月 | 3.5B | XL 1.0基础模型有35亿个参数，使其比以前版本大了约3.5倍。[39] |
| XL Turbo | 2023年11月 | 提取自XL 1.0而以更少扩散步骤运行。[41] | |
| 3.0 | 2024年2月（早期预览） | 800M到8B | 模型家族。 |
| 3.5 | 2024年10月 | 2.5B到8B | 具有Large（80亿个参数）、Large Turbo（提取自SD 3.5）和Medium (25亿个参数）的模型家族。 |
2.SD3.5模型下载
安装aria2快速下载模型，几乎能将我家1000M的宽带跑满，每秒80～90M,接下来的介绍模型都会给出安装命令。
apt install aria2
aria2c https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/resolve/main/sd3.5_large_fp8_scaled.safetensors?download=true -o SourceCode/ComfyUI/models/checkpoints/sd3.5_large_fp8_scaled.safetensors --auto-file-renaming=false --allow-overwrite=falsearia2c https://huggingface.co/stabilityai/stable-diffusion-3.5-controlnets/resolve/main/sd3.5_large_controlnet_blur.safetensors?download=true -o SourceCode/ComfyUI/models/controlnet/sd3.5_large_controlnet_blur.safetensors --auto-file-renaming=false --allow-overwrite=false --load-cookies /home/d/Downloads/huggingface.co_cookies.txtaria2c https://huggingface.co/stabilityai/stable-diffusion-3.5-controlnets/resolve/main/sd3.5_large_controlnet_depth.safetensors?download=true -o SourceCode/ComfyUI/models/controlnet/sd3.5_large_controlnet_depth.safetensors --auto-file-renaming=false --allow-overwrite=false --load-cookies /home/d/Downloads/huggingface.co_cookies.txtaria2c https://huggingface.co/stabilityai/stable-diffusion-3.5-controlnets/resolve/main/sd3.5_large_controlnet_canny.safetensors?download=true -o SourceCode/ComfyUI/models/controlnet/sd3.5_large_controlnet_canny.safetensors --auto-file-renaming=false --allow-overwrite=false --load-cookies /home/d/Downloads/huggingface.co_cookies.txt
小技巧：你要是打不开https://huggingface.co，可以将其换成为https://hf-mirror.com/试一试
二、SD3.5工作流介绍
https://comfyanonymous.github.io/ComfyUI_examples/sd3/
1.SD3.5简单版本
如果您还没有从 SD3、Flux 或其他模型下载文本编码器文件（例如clip_l.safetensors、clip_g.safetensors和 t5xxl） ，请先下载它们（如果您的 ComfyUI/models/text_encoders/ 文件夹中还没有）。对于 t5xxl，如果您的内存超过 32GB，我建议您下载t5xxl_fp16.safetensors ；如果您的内存不足，我建议您下载t5xxl_fp8_e4m3fn_scaled.safetensors 。
SD3.5 模型系列包含一个大型 8B 模型和一个中型 2.5B 模型。中型模型速度更快，占用内存更少，但对某些概念的理解可能不那么复杂。我建议下载这两个模型，并尝试一下它们如何响应你的提示。
sd3.5_large.safetensors和sd3.5_medium.safetensors文件（选择您想要的文件并将其放在 ComfyUI/models/checkpoints/ 目录中）不包含文本编码器/CLIP 权重，因此您必须单独加载它们才能使用该文件，就像以下示例一样：
要使用sd3.5_large_turbo.safetensors文件（将其放在 ComfyUI/models/checkpoints/ 目录中），您可以使用上面的示例并将步骤设置为 4 并将 cfg 设置为 1.2。
为了方便起见，我们提供了一个易于使用的一体化检查点文件sd3.5_large_fp8_scaled.safetensors（将其放在 ComfyUI/models/checkpoints/ 目录中），该文件可以像其他检查点文件一样在默认工作流程中使用。此外，还有一个适用于 SD3.5 Medium 的检查点文件：sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors 。
请参阅此工作流程作为示例。
运行结果：
2.SD3.5 ControlNet canny
Stability 发布了一些官方的 SD3.5 ControlNet，您可以在这里找到这些文件（sd3.5_large_controlnet_canny.safetensors、sd3.5_large_controlnet_depth.safetensors、sd3.5_large_controlnet_blur.safetensors）位于您的 ComfyUI/models/controlnet 目录中，旨在与 SD3.5 large 一起使用。
请参阅此工作流程以获取使用 canny（sd3.5_large_controlnet_canny.safetensors）ControlNet的示例：
3.SD3.5 ControlNet blur
4.SD3.5 ControlNet depth
