直播网站是怎么做的万网是做网站的吗

今天带来的是一个基于 HiDream 模型 的 ComfyUI 图像编辑工作流，它通过 InstructPix2Pix 的方式对输入图像进行细节修改，重点展示了如何结合强大的文本编码器和扩散模型，在保持原图主体的前提下完成局部的自然化调整。

效果演示中，人物的发型被精准修改为自然散落的效果，同时背景与整体画面保持一致性，让读者直观地感受到工作流在图像生成与编辑中的应用价值。

HiDream ComfyUI 图像编辑工作流

工作流介绍

该工作流基于 HiDream-E1 扩散模型和多种文本编码器组合构建而成，旨在通过文本指令直接修改现有图像局部内容。其核心思路是加载预训练的 UNet 模型、VAE 解码器与多路 CLIP/T5/LLama 编码器，结合 InstructPix2Pix 条件生成方式，实现自然、高保真的局部修改。整个流程由模型加载、图像输入、Prompt 提示、采样生成与最终保存五大环节组成，确保从输入到输出的链路清晰且高效。

核心模型

核心模型的配置围绕 UNet 扩散模型、VAE 模型 和 多模态文本编码器展开。HiDream 的扩散模型提供了稳定的潜空间生成能力，VAE 模块用于潜变量与图像的解码转换，而 QuadrupleCLIPLoader 同时引入了 CLIP、T5 以及 LLama 编码器，使得文本指令在风格与语义上更具多样性与准确性。这些模型的配合保证了图像修改过程的可控性与效果还原度。

模型名称	说明
hidream_e1_1_bf16.safetensors	HiDream-E1 扩散模型，负责潜空间生成与迭代采样
ae.safetensors	VAE 模型，用于潜变量与图像之间的解码与还原
clip_g_hidream.safetensors	CLIP 文本编码器 G 版本，强化语义理解
clip_l_hidream.safetensors	CLIP 文本编码器 L 版本，提升细节捕捉
t5xxl_fp8_e4m3fn_scaled.safetensors	T5-XXL 编码器，增强复杂指令的处理能力
llama_3.1_8b_instruct_fp8_scaled.safetensors	LLama 指令模型，用于处理自然语言提示并转化为控制条件

Node 节点

节点的设计涵盖了输入、文本编码、条件构建、采样与输出等完整链路。LoadImage 节点负责图像的读取，CLIPTextEncode 将正向与负向提示转化为条件，InstructPixToPixConditioning 则结合输入图像与提示生成潜空间条件。DualCFGGuider 与 SamplerCustomAdvanced 节点共同完成扩散采样，最后通过 VAEDecode 将潜变量还原为最终图像并由 SaveImage 保存。节点之间的连接逻辑保证了文本提示、图像输入和生成控制的一致性，从而实现高质量的局部编辑。

节点名称	说明
LoadImage	读取输入图像作为编辑基底
CLIPTextEncode (Positive/Negative)	将文本提示转化为条件编码
InstructPixToPixConditioning	将图像与提示结合，形成潜空间条件
DualCFGGuider	控制正向与负向提示的平衡，增强生成可控性
RandomNoise	初始化扩散过程所需的噪声输入
SamplerCustomAdvanced	自定义采样过程，生成潜空间结果
VAEDecode	将潜变量解码为图像输出
SaveImage	保存生成的最终图像

工作流程

该工作流的执行路径从模型加载到最终图像输出，环环相扣。首先由 QuadrupleCLIPLoader、UNetLoader 与 VAELoader 完成核心模型的加载，确保扩散、解码与文本理解的能力就绪。随后，LoadImage 节点导入原始图像，经过 ImageScaleToTotalPixels 调整至合适分辨率，为后续处理奠定基础。文本提示通过 CLIPTextEncode 编码为正向与负向条件，进入 InstructPixToPixConditioning，结合输入图像与 VAE 生成潜在条件。此后，RandomNoise 初始化扩散噪声，配合 KSamplerSelect 与 BasicScheduler 定义采样策略，再由 DualCFGGuider 对条件权重进行平衡，最终在 SamplerCustomAdvanced 中完成潜变量采样。生成结果由 VAEDecode 还原为图像，并通过 SaveImage 保存。整个流程既强调了可控性，也保证了生成结果的细腻程度。

流程序号	流程阶段	工作描述	使用节点
1	模型加载	加载文本编码器、扩散模型与 VAE，为工作流提供基础能力	QuadrupleCLIPLoader, UNETLoader, VAELoader
2	图像输入	读取原始图像并调整分辨率	LoadImage, ImageScaleToTotalPixels
3	提示处理	将正向与负向文本提示转化为条件编码	CLIPTextEncode (Positive/Negative)
4	条件构建	结合输入图像、提示与 VAE 输出潜空间条件	InstructPixToPixConditioning
5	采样配置	定义采样器与调度器，并加入随机噪声	RandomNoise, KSamplerSelect, BasicScheduler
6	指令引导	控制正负向条件权重，提升生成可控性	DualCFGGuider
7	潜变量采样	完成潜空间的采样与生成	SamplerCustomAdvanced
8	解码与输出	将潜变量还原为图像并保存	VAEDecode, SaveImage

应用场景

该工作流的设计适用于多种实际场景。对于摄影后期，可以快速对局部细节进行调整，例如修改发型、服饰或光影效果，同时保持整体画面不变。在插画与二次元创作中，能够通过文本提示灵活实现风格细化，提升作品的表达力。在影视与广告制作中，利用 InstructPix2Pix 条件编辑，能减少重复拍摄成本，快速生成替代镜头或补充画面。此外，在 AI 教育与研究领域，该工作流也是教学范例，能帮助学习者理解文本引导扩散模型的工作机制。

应用场景	使用目标	典型用户	展示内容	实现效果
摄影后期	调整局部细节，优化照片表现力	摄影师、修图师	人物发型、服装纹理	真实自然的修改效果
插画创作	增强风格化表达，快速迭代设计	插画师、CG艺术家	二次元角色、背景细化	高度个性化的艺术效果
影视广告	替代镜头生成，节省制作成本	影视制作人、广告设计师	局部画面修改或增强	高效低成本的镜头替换
学术研究	探索文本驱动图像生成机制	研究人员、学生	模型可控性实验	可复现的研究范例
教学培训	展示 AI 图像生成工作原理	教师、教育机构	可视化工作流案例	直观理解生成原理

开发与应用

更多 AIGC 与 ComfyUI工作流 相关研究学习内容请查阅：

ComfyUI使用教程、开发指导、资源下载

更多内容桌面应用开发和学习文档请查阅：

AIGC工具平台Tauri+Django环境开发，支持局域网使用
AIGC工具平台Tauri+Django常见错误与解决办法
AIGC工具平台Tauri+Django内容生产介绍和使用
AIGC工具平台Tauri+Django开源ComfyUI项目介绍和使用
AIGC工具平台Tauri+Django开源git项目介绍和使用