使用扩散模型解决Talking Head生成中的头像抖动问题

使用扩散模型解决Talking Head生成中的头像抖动问题

本文提出了一种基于时空一致性约束的扩散模型框架，有效解决了Talking Head生成中的帧间抖动问题，在保持身份特征一致性的同时实现自然流畅的面部动画。

引言：抖动问题的挑战与扩散模型的机遇

在数字人技术快速发展的今天，Talking Head（会说话的头像）技术在虚拟主播、远程会议、影视特效等领域展现出巨大潜力。然而，现有方法在生成连续面部运动时普遍存在帧间抖动问题——表现为面部特征的不稳定跳动、表情过渡不自然以及头部姿态的突变。这种抖动严重破坏了用户体验的真实感。

传统生成方法（如GANs）由于对抗训练的不稳定性和缺乏显式的时间建模，难以保持连续帧之间的一致性。而扩散模型（Diffusion Models）凭借其渐进式生成特性和灵活的条件注入机制，为解决这一难题提供了新的思路。本文提出一种基于时空一致性约束的扩散模型框架ST-DiffFace，实现了稳定流畅的Talking Head生成。

核心问题分析：抖动的根源

通过系统实验分析，我们识别出抖动问题的主要来源：