当前位置: 首页 > news >正文

长沙做网站比较好的公司网站模板论坛

长沙做网站比较好的公司,网站模板论坛,vs2017网站开发时修改的页面未变化,网架公司办公室规章制度范本Shakker Labs FLUX.1-dev-ControlNet-Union-Pro-2.0 一、模型概述 Shakker Labs发布的FLUX.1-dev-ControlNet-Union-Pro-2.0是一个统一的ControlNet模型,专为FLUX.1-dev模型设计。该模型在前一版本基础上进行了多项改进,包括移除模式嵌入以减小模型尺寸…

Shakker Labs FLUX.1-dev-ControlNet-Union-Pro-2.0

一、模型概述

Shakker Labs发布的FLUX.1-dev-ControlNet-Union-Pro-2.0是一个统一的ControlNet模型,专为FLUX.1-dev模型设计。该模型在前一版本基础上进行了多项改进,包括移除模式嵌入以减小模型尺寸,同时在Canny边缘检测和姿态控制方面实现了更好的控制效果和美学表现。此外,该模型新增了对软边缘的支持,但移除了对平铺(tile)模式的支持。

二、模型架构与训练

该ControlNet模型由6个双块组成,没有单块结构。训练过程从零开始,共进行了300,000步训练,使用了包含2000万张高质量通用和人物图像的数据集。训练参数包括:

  • 分辨率:512x512

  • 数据类型:BFloat16

  • 批量大小:128

  • 学习率:2e-5

  • 引导参数:从[1,7]均匀采样

  • 文本丢弃比率:0.20

三、支持的控制模式

该模型支持多种控制模式,包括:

  1. Canny边缘检测:使用cv2.Canny实现,推荐控制条件缩放比例为0.7,控制引导结束点为0.8

  2. 软边缘:使用AnylineDetector实现,推荐控制条件缩放比例为0.7,控制引导结束点为0.8

  3. 深度:使用depth-anything实现,推荐控制条件缩放比例为0.8,控制引导结束点为0.8

  4. 姿态:使用DWPose实现,推荐控制条件缩放比例为0.9,控制引导结束点为0.65

  5. 灰度:使用cv2.cvtColor实现,推荐控制条件缩放比例为0.9,控制引导结束点为0.8

四、使用示例

论文提供了两种使用示例:单条件推理和多条件推理。

单条件推理示例

    import torchfrom diffusers.utils import load_imagefrom diffusers import FluxControlNetPipeline, FluxControlNetModelbase_model = 'black-forest-labs/FLUX.1-dev'controlnet_model_union = 'Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0'controlnet = FluxControlNetModel.from_pretrained(controlnet_model_union, torch_dtype=torch.float16)pipe = FluxControlNetPipeline.from_pretrained(base_model, controlnet=controlnet, torch_dtype=torch.float16)pipe.to("cuda")control_image = load_image("./conds/canny.png")width, height = control_image.sizeprompt = "A young girl stands gracefully at the edge of a serene beach, her long, flowing"image = pipe(prompt,control_image=control_image,width=width,height=height,controlnet_conditioning_scale=0.7,control_guidance_end=0.8,num_inference_steps=30,guidance_scale=3.5,generator=torch.Generator(device="cuda").manual_seed(42),).images[0]

多条件推理示例

import torch
from diffusers.utils import load_imagebase_model = 'black-forest-labs/FLUX.1-dev'
controlnet_model_union = 'Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0'controlnet = FluxControlNetModel.from_pretrained(controlnet_model_union, torch_dtype=torch.float16)
pipe = FluxControlNetPipeline.from_pretrained(base_model, controlnet=[controlnet], torch_dtype=torch.float16)
pipe.to("cuda")control_image = load_image("./conds/canny.png")
width, height = control_image.size
prompt = "A young girl stands gracefully at the edge of a serene beach, her long, flowing"image = pipe(prompt,control_image=[control_image, control_image],width=width,height=height,controlnet_conditioning_scale=[0.35, 0.35],control_guidance_end=[0.8, 0.8],num_inference_steps=30,guidance_scale=3.5,generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]

五、相关资源与致谢

文章提到该模型由Shakker Labs开发,原始想法受到xinsir/controlnet-union-sdxl-1.0的启发。所有版权均保留。

此外,论文还提到了其他相关模型资源,包括:

  • InstantX/FLUX.1-dev-IP-Adapter

  • InstantX/FLUX.1-dev-Controlnet-Canny

  • Shakker-Labs/FLUX.1-dev-ControlNet-Depth

  • Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

六、核心技术汇总

在这里插入图片描述

http://www.dtcms.com/a/494236.html

相关文章:

  • 企业网站seo案例单页网站下载
  • 国外建站系统天元建设集团有限公司注册资金
  • 中山建网站推荐网站不续费
  • 做资源网站怎么不封百度地图推广一年多少钱
  • 徐州做网站的公司有哪些wordpress文章分页共多少页
  • 北海公司做网站创客贴网站做海报技能
  • 电子商务物流网站建设规划方案大气手机网站模板
  • 个人可以做商城网站psd素材
  • 有没有专门做纸箱的网站台州 wordpress
  • 电商网站开发的引言网站备案网址
  • 自己电脑做网站访问速度广州网页设计美工培训
  • 做网批有专门的网站吗芯片最新消息
  • 国内网站不备案公益手游app平台
  • 深圳市住建局官网平台威海seo优化公司
  • 建个网站有什么用网站建设前期分析
  • 网站建设 字体版权app设计欣赏
  • 创可贴网页设计网站微网站工程案例展示
  • 1000学习做网站贵吗wordpress手动上传图片
  • 麦吉太原网站建设丽怎么代理营销网站开发系统
  • wordpress网站360搜索收录网站开发程序用什么好
  • 移动端企业网站泉州网站建设方案优化
  • 企业网站每年的费用长春新冠最新情况
  • 网站制作设计网站死链检查
  • 网站备案成功后怎么wordpress 移动适配
  • 简述网站的建站流程vs2008网站开发
  • 网站seo优化运营东营黄页企业名录
  • 傻瓜式网站开发软件低价网站建设案例
  • 360浏览器打不开90设计网站购物商城网站开发
  • 贵州茅台酒股份有限公司网站门户网站都有哪些内容
  • 学校微网站模板单位网站建设实施方案