当前位置: 首页 > news >正文

开始 ComfyUI 的 AI 绘图之旅-图生图(二)

文章标题

  • 一、什么是图生图?
  • 二、ComfyUI 图生图工作流示例讲解
    • 1. 模型安装
    • 2. 图生图工作流相关文件
    • 3. 开始图生图工作流
    • 4.开始你自己的尝试
    • 5.图生图工作流核心要点
    • 6.尝试切换模型

一、什么是图生图?

图生图(Image to Image)是 ComfyUI 中的一种工作流,它允许用户将一张图像作为输入,并生成一张新的图像。
图生图可以使用在以下场景中:

  • 原始图像风格的转换,如把写实照片转为艺术风格
  • 将线稿图像转换为写实图像
  • 图像的修复
  • 老照片着色
  • … 等其它场景

用一个比喻来讲解的话,大概是这样: 你需要画家根据你的参考图片,画出符合你要求特定效果的作品。

如果你仔细比对本篇教程和文生图教程,你会发现图生图的流程和文生图的流程非常相似,只是多了个输入的参考图片作为输入条件,也就是在文生图中,我们是让画家(绘图模型)根据我们的提示词生成自由发挥,而在图生图中,我们是让画家(绘图模型)根据我们的参考图片和提示词生成图片
​来源:https://docs.comfy.org/zh-CN/tutorials/basic/image-to-image

二、ComfyUI 图生图工作流示例讲解

1. 模型安装

请确保你已经在 ComfyUI/models/checkpoints 文件夹至少有一个 SD1.5 的模型文件,如果你还不了解如何安装模型,请参开始 ComfyUI 的 AI 绘图之旅章节中关于模型安装的部分说明。你可以使用下面的这些模型:

  • v1-5-pruned-emaonly-fp16.safetensors 效果不太行
  • Dreamshaper 8 效果符合预期
  • Anything V5

安装aria2快速下载模型,几乎能将我家1000M的宽带跑满,每秒80~90M,接下来的介绍模型都会给出安装命令。

apt install aria2
aria2c https://civitai.com/api/download/models/128713?type=Model&format=SafeTensor&size=pruned&fp=fp16 -o SourceCode/ComfyUI/models/checkpoints/dreamshaper_8.safetensors auto-file-renaming=false --allow-overwrite=false

小技巧:你要是打不开https://huggingface.co,可以将其换成为https://hf-mirror.com/试一试

2. 图生图工作流相关文件

保存并下载下面的图片到本地,然后 拖拽或使用 ComfyUI 打开 它,就会加载对应的工作流或在 ComfyUI 的 workflow template 中加载 image to image 工作流
在这里插入图片描述

下载下面的图片作为使用示例,我们会在后面的步骤中使用它
在这里插入图片描述

3. 开始图生图工作流

在这里插入图片描述

在加载图生图工作流后,请对照图片,按照序号完成以下操作,完成示例工作流的生成

  1. Load Checkpoint 节点中加载好你本地的绘图模型
  2. Load Image 节点点击 upload 按钮,上传准备步骤中提供的图片
  3. 点击 Queue 按钮,或者使用快捷键 Ctrl + Enter(回车) 来执行图片生成

4.开始你自己的尝试

  1. 试着修改 KSampler 节点中的 denoise 参数,逐渐从 1 到 0 变化,观察生成图片的变化
  2. 更换你自己的提示词和参考图片,生成属于你自己的图片效果

5.图生图工作流核心要点

图生图工作流的核心在于在于 KSampler 节点中的 denoise 参数要是 小于 1如果你调整过 denoise 参数,进行生成后会发现:

  • denoise 越小,生成图片和参考图片的差异就会越小,
  • denoise 越大,生成图片和参考图片的差异就会越大。

因为 denoise 决定了对应图片转换为潜空间图像后,向潜在空间图像添加的噪声强度,如果 denoise 为 1,对应潜空间图像就会变成一个完全随机的噪声,那这样就和empty latent image节点生成的潜在空间一样了,就会丢失参考图片的所有特征。对应原理可以参考文生图教程中的原理讲解。

6.尝试切换模型

提示词:photograph of victorian woman with wings, sky clouds, meadow grass
一位维多利亚时代女性的照片,她长着翅膀,背景是天空、云朵和牧场草地

  • v1-5-pruned-emaonly-fp16.safetensors模型
    没有草地,没有翅膀,画风不行,不符合预期
    在这里插入图片描述
  • Dreamshaper 8模型
    有草地,有翅膀,画面细腻,不符合预期
    在这里插入图片描述

文章转载自:

http://wi0ySLfI.dqbpf.cn
http://PXXsAWkK.dqbpf.cn
http://5jTqbY9W.dqbpf.cn
http://5cNdad2a.dqbpf.cn
http://4gjtL7b1.dqbpf.cn
http://7URkaiIb.dqbpf.cn
http://sqfmcgD8.dqbpf.cn
http://oTGPAdpV.dqbpf.cn
http://Otf3oZwa.dqbpf.cn
http://C5Ghzf0O.dqbpf.cn
http://WmLJJ7JO.dqbpf.cn
http://j8QTkdns.dqbpf.cn
http://jQr1gY3E.dqbpf.cn
http://Shugeat2.dqbpf.cn
http://tdHn4AJK.dqbpf.cn
http://5dLorZAJ.dqbpf.cn
http://y6aDBrfR.dqbpf.cn
http://Rf7ldYVU.dqbpf.cn
http://Lb4fDIsO.dqbpf.cn
http://ZXvmDYmZ.dqbpf.cn
http://iYHbG3bJ.dqbpf.cn
http://qkpuUZAw.dqbpf.cn
http://t8jijzZg.dqbpf.cn
http://rzX9vZ7J.dqbpf.cn
http://FG0JpzK1.dqbpf.cn
http://NhQrRovT.dqbpf.cn
http://9qOoMHs2.dqbpf.cn
http://T1YbL50b.dqbpf.cn
http://lUs2bXiG.dqbpf.cn
http://zb5UYGRE.dqbpf.cn
http://www.dtcms.com/a/371585.html

相关文章:

  • VS2017安装Qt插件
  • ZYNQ FLASH读写
  • 容器元素的滚动条回到顶部
  • 【音频字幕】构建一个离线视频字幕生成系统:使用 WhisperX 和 Faster-Whisper 的 Python 实现
  • ncnn-Android-mediapipe_hand 踩坑部署实录
  • java面试中经常会问到的mysql问题有哪些(基础版)
  • SoundSource for Mac 音频控制工具
  • Unity学习----【进阶】Input System学习(一)--导入与基础的设备调用API
  • 第11篇:降维算法:PCA、t-SNE、UMAP
  • 【Leetcode100】算法模板之二叉树
  • 深入理解假设检验:从抛硬币到药物实验的全景讲解
  • JavaScript笔记之JS 和 HTML5 的关系
  • 第4篇 conda install pytorch==2.0.0报错
  • 基于Echarts+HTML5可视化数据大屏展示-学生综合成绩评价系统大屏
  • 探索OpenResty:高性能Web开发利器
  • Lua 核心知识点详解
  • 26考研——内存管理_内存管理策略(3)
  • MySQL索引和B+Tree的关系
  • 《云原生配置危机:从服务瘫痪到韧性重建的实战全解》
  • 论文阅读-SelectiveStereo
  • 架构思维:重温限流算法原理与实战
  • 【面试题】关于RAG的五道题
  • redis的数据类型:List
  • 【mysql】SQL自连接:什么时候需要,什么时候不需要?
  • Android网络之WIFI技术网络模型概述
  • 【Pandas】3.1-数据预处理:列的基本操作
  • 【数据结构】经典 Leetcode 题
  • vector的使用和模拟实现
  • 开发思路篇:转账接口设计
  • 20250907-03:LangChain的六大核心模块概览