当前位置: 首页 > news >正文

Stable Diffusion 扩展知识实操整合

本文的例子都是基于秋叶整合包打开的webui实现的

一、ADetailer——改善人脸扭曲、恶心

After detailer插件可以自动检测生成图片的人脸,针对人脸自动上蒙版,自动进行重绘,整个流程一气呵成,因此可以避免许多重复的操作。除此之外,Adetailer还可以检测整个人物的手部、眼睛甚至全身,并针对这些部分进行重绘

实例:8个女孩,脸已经崩了

使用After detailer后:脸有了明显的改善

建议使用Euler a采样方法,生成的图像质量好一些

yolov8的修复效果不太好,建议使用mediapipe_face_full,但是mediapipe经常检测不到侧脸

After detailer也可以使用独立参数,但一定要记得打钩,不打钩的话,参数设置也没用

写实的模型还没用过

各模型使用范围

二、Tiled Diffusion、Tiled VAE 放大图片

通过Tiled Diffusion技术,可以将图像划分为多个小块(tiles),然后对每个小块进行处理,从而生成高分辨率的图像,适用于显存不够的情况
Tiled VAE是将 VAE 移动到 GPU (如果允许)
例如生成一个512*512图像(兔儿旗袍女性)

使用Tiled Diffusion和Tiled VAE后生成了一副1024*1024的图像,图像大体不变、只是一些细节变化了

参数如下,只需改一下放大算法和放大倍数就可以

R-ESRGAN 4x+:写实图片
R-ESRGAN 4x+ Anime6B:二次元图片

如果在网上下载了新的放大模型,放在 sd-webui-aki-v4.10\models\ESRGAN 路径下

三、Dynamic Thresholding (CFG Scale Fix)动态CFG值调整

CFG(Control Flow Guidance)值是Stable Diffusion中控制生成图像与提示词(Prompt)关联强度的核心参数。动态CFG值调整指在图像生成过程中实时调整CFG值,以解决高CFG值导致的色彩失真、细节过度锐化等问题,同时平衡生成质量与多样性。

应用场景:
1、高分辨率生成:在SD3中,动态CFG配合Shift参数调整,优化百万像素级图像的噪声管理。
2、风格化生成:使用动漫、写实等风格LoRA时,动态CFG可抑制风格冲突导致的细节失真
3、低显存适配:通过分阶段CFG调整,降低高分辨率生成时的显存峰值占用。

举例:science fiction,realistic,Cinematic Lighting,chocolate,city_lights,
左边没用动态CFG值调整,右边使用了动态CFG值调整,右边的效果更好
左边文生图,右边是左侧的图生图

相关文章:

  • cin,cin.get(),getchar(),getline(),cin.get line()异同点
  • 深入理解ARP协议:作用与工作流程详解
  • ubuntu 22.04配置cuda和cudnn
  • C++ 虚函数:深入理解多态的核心机制
  • 栈和队列(Stack和Queue)
  • 图片压缩后失真?3款工具还原高清细节
  • 图像变换方式区别对比(Opencv)
  • git仓库中.git文件夹过大的问题
  • 文件IO4(提高LCD显示效率/BMP图像原理与应用)
  • 循环神经网络 - 长短期记忆网络
  • 蓝桥杯练习题1
  • 论文精读:MSCA-Net:多尺度上下文聚合网络在红外小目标检测中的突破
  • 二分查找5:852. 山脉数组的峰顶索引
  • leetcode589 N叉树的前序遍历
  • ✨ MOS开关的非线性因素详解 ✨
  • 【数据结构】时间和空间复杂度
  • host模式容器compose建立记录
  • ASEG的鉴定
  • DAPP实战篇:使用web3.js实现前端输入钱包地址查询该地址的USDT余额—操作篇
  • 【智驾中的大模型 -1】自动驾驶场景中的大模型
  • 东道设计学院/seo是什么品牌
  • 奥鹏作业代做靠谱的网站/软文的本质是什么
  • 购物网站源码/蜜雪冰城推广软文
  • 政府网站建设问卷调查/网络宣传策划方案
  • 政府网站建设改版通知/网络推广岗位职责和任职要求
  • 迷你主机做网站/广州做seo的公司