畅游Diffusion数字人(23)：字节最新表情+动作模仿视频生成DreamActor-M1

畅游Diffusion数字人(0)：专栏文章导航

前言：之前有很多动作模仿或者表情模仿的工作，但是如果要在实际使用中进行电影级的复刻工作，仅仅表情或动作模仿还不够，需要表情和动作一起模仿。最近字节跳动提出了一个表情+动作模仿视频生成DreamActor-M1。

目录

贡献概述

核心动机

方法详解

隐式面部表示

3D 头部球体：

3D身体骨架控制：

训练阶段

数据和训练

---

贡献概述

作者自己总结的几点贡献：

• 我们提出了一个基于整体 DiT 的框架和用于支持灵活多尺度合成的人体图像动画的渐进式训练策略。

• 我们设计了混合控