当前位置: 首页 > news >正文

余姚做网站的公司建筑人才网平台

余姚做网站的公司,建筑人才网平台,近期新闻热点大事件,做照片有那些网站code:https://github.com/ali-vilab/VACE 核心 单个模型同时处理多种视频生成和视频编辑任务通过VCU(视频条件单元)进行实现 方法 视频任务 所有的视频相关任务可以分为4类 文本生视频 参考图片生视频 视频生视频 视频mask生视频 VCU …

code:https://github.com/ali-vilab/VACE

核心

在这里插入图片描述

  • 单个模型同时处理多种视频生成和视频编辑任务
  • 通过VCU(视频条件单元)进行实现

方法

视频任务

所有的视频相关任务可以分为4类
在这里插入图片描述
文本生视频
参考图片生视频
视频生视频
视频+mask生视频

VCU

对上述4个任务,制定一个统一的输入范式。text,frame以及mask。
在这里插入图片描述
对于每一个不同的任务,text不用变,主要变化F以及M。对于参考图+视频,无非是多了l个参考图的输入。mask对应设置如下表所示。
这样就统一了不同类型任务的输入。
在这里插入图片描述

结构

在这里插入图片描述

重构了DiT模型用于VACE

Context Tokenization

在这里插入图片描述

  • 概念解耦。主要是将视频分为了2部分,一部分是和mask有交互的,需要重新生成;一部分和mask无交互的,需要保持不变。
  • Context Latent Encoding.解藕的两部分以及原始视频、mask分别encoder到latent空间,shape保持一致
  • Context Embedder 将上述3个concat一起输入到transformer中
3.3.2. Fully Fine-Tuning and Context Adapter Tuning

在这里插入图片描述作者设计了两种训练方式。

  • 全训练。直接将video tokens和context tokens相加,然后训练整个DiT
  • Context Adapter Tuning。直训练context Block和context Embed。DiT不动,cotext作为一个控制信号注入到DiT。参考了Res-tuning,也有点controlnet到结构。
    后文也有提到Context Adapter Tuning的效果更好,所以关注这个就可以。

结果

作者自己构建了一个新的数据集,用于评估多类视频任务。

定量

多个任务上的性能超过了sota,特别是在视频质量和视频一致性方面。例如,在图像到视频(I2V)任务中,VACE在多个指标上优于I2VGenXL、CogVideoX-I2V和LTX-Video-I2V等方法。
但是在R2V任务上,keling更胜一筹
在这里插入图片描述

定性

在这里插入图片描述

消融实验

在这里插入图片描述

  • Context Adapter Tuning的训练方式更好
  • 超参数设置Uniform最好
  • Context Adapter设置所有layers最好
  • Concept 解耦更好一点

局限(C.1. Limitations)

  • 生成的质量和风格受基础模型的影响。小模型快,但是质量和连贯性不好。例如身份一致性差,对输入的控制能力较弱。大模型慢,质量高。
  • VACE的训练数据不足,训练时间不足
  • 用户使用起来更复杂一些(对比单一任务模型)

细节

基础模型

在LTX-Video-2B和WAN-T2V-14B两个模型基础上训练
训练卡数:16张A100/128张A100

训练分为3个阶段
  • 基础任务训练,作为构建更复杂任务的基石。具体任务为视频修复和视频扩展
  • 任务扩展训练,扩展模型的能力。包括单输入参考帧到多输入参考帧和单一任务到组合任务
  • 质量提升训练,提升模型生成视频的质量,特别是在高分辨率和长视频序列上的表现。
训练参数

在这里插入图片描述

总结

主要是统一了多个不同的视频任务,使得单一模型拥有复杂的能力。创新点注意围绕着接口设计、训练设计。模型核心结构未变。

http://www.dtcms.com/a/508692.html

相关文章:

  • 娱乐类网站wordpress男同
  • VSCode 配置 SSH 远程连接
  • 网站 主办单位性质 个人眉山建行网站
  • 网站建设与运营未来发展西安网站建设那家强
  • 134.FPGA常见管脚与时钟的约束方法
  • 宝安建网站多少钱wordpress本地打开慢
  • 国内开源代码网站传奇游戏开发
  • 新手做网站的几个必要步骤工作室图片 实拍
  • 中断NVIC
  • 自己也可以免费轻松创建一个网站营销网站制作
  • 苏州建网站多少钱网站访客跟踪
  • C标准库 - `<float.h>》详解
  • 解密 Vercel AI SDK:构建下一代 AI 应用的终极武器库
  • 开发网站语言推推蛙seo
  • 七宝做网站ps做电商网站图标
  • [css] flex布局中的英文字母不换行问题
  • wordpress爬虫采集惠州seo排名公司
  • 电白区建设局网站社交网站怎么做
  • 5 款 PDF 翻译工具深度测评:从格式到免费权限全解析
  • flash-attention连环问答--softmax 、safe softmax 、online softmax
  • 温州网站建设企业包装回收网站建设
  • 有没有做彩票直播的网站做一个网站开发项目有哪些阶段
  • 网站建设沛宣跨境电商自建站是什么意思
  • 降水数据下载:GSMaP卫星 1998-2025年 逐小时、逐天、逐月 0.1°空间分辨率
  • 【复习】计网每日一题1020---路由条目
  • 怎么注册网站挣流量免费制作个人简历的网站
  • 【11408学习记录】[特殊字符] ​​考研数学线性代数攻坚:正定二次型通关攻略+惯性定理核心突破​
  • 网站建设服务公司案例网站gif图标
  • 做jsp网站用哪些软件网站开发遇到的问题
  • reactjs 做网站共同建设网站协议