开源3d数字人学习笔记2025
目录
开源数字人解决方案fay：
echomimic_v2
淘宝TaoAvatar 3d数字人，可以手机端运行
字节：MimicTalk
字节开源 PersonaTalk
腾讯开源数字人MuseTalk 2d数字人
| LAM (Large Avatar Model) | 超写实3D人头生成与驱动 | 基于3D高斯溅射，无需神经网络后处理，跨平台超实时渲染（移动端可达120FPS） | 单张图像 | GitHub |
| IDOL | 高质量、可动画的3D全身生成 | 基于Transformer，秒级重建，无需额外绑骨，支持形变与纹理编辑 | 单张图像 | GitHub |
| MNN-TaoAvatar | 端侧实时3D数字人语音交互 | 集成ASR、LLM、TTS、A2BS全链路，可在手机/XR设备上运行 | 多视角视频（用于建模） | GitHub |
| HAvatar | 高保真动态人头Avatar创建 | 基于NeRF与参数化模板结合，支持基于单视角视频的重建与表情控制 | 单视角视频 | 代码目录见，具体地址需查阅相关项目 |
| StructLDM | 3D人体生成与编辑 | 结构化潜在扩散模型，支持身份交换、局部服装编辑等 | 2D图像 | 代码目录见，具体地址需查阅相关项目 |
| NVIDIA Audio2Face | 语音驱动面部动画 | 生成式AI将语音直接转换为逼真的面部表情与口型 | 音频 | 已开源，具体地址见官方发布 |
开源数字人解决方案fay：
https://github.com/xszyou/Fay
echomimic_v2
https://github.com/antgroup/echomimic_v2
淘宝TaoAvatar 3d数字人，可以手机端运行
介绍资料，里面有语音语音驱动，语音识别等模型：
https://www.thepaper.cn/newsDetail_forward_31039750
Mnn3dAvatar
论文地址：https://arxiv.org/abs/2503.17032v1
开源地址:https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md
TaoAvatar 基于先进的 3D 高斯泼溅技术，提供了一套全身互动式的真人数字人解决方案。它通过多视角视频的输入，可以迅速生成具有高逼真度的数字人形象，这些形象不仅能够精准地捕捉到细腻的面部表情和手势动作，甚至连衣物细微的褶皱以及头发的自然摆动都能清晰呈现，带来一种自然而真实的视觉体验。
介绍：https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md#releases
由于需要将多个模型同时运行在手机上，需要性能高的芯片和内存足够大：
- 旗舰芯片级性能：高通骁龙8 Gen 3或联发科天玑9200以上级别
- 内存至少8GB
- 手机存储需至少5GB空间用于存放模型文件
- ARM64架构
字节：MimicTalk
字节开源 PersonaTalk
只不过今天讲的MimicTalk开源了，直接就能用，不用看着那论文大呼“不开源发个论文干什么”
MimicTalk跟PersonaTalk还是有本质区别的，MimicTalk是需要训练的3D数字人PersonaTalk还是wav2lip那种贴上去的嘴型。
MimicTalk的训练速度是非常快的，训练一个数字人只要15分钟，内存占用也不大，实际只用了8个多G。
腾讯开源数字人MuseTalk 2d数字人
https://github.com/TMElyralab/MuseTalk?tab=readme-ov-file