AI大模型:(二)5.2 文生视频(Text-to-Video)模型训练实践
目录
1.模型选择
2.DIT模型架构介绍
3.模型部署
3.1.准备环境
3.2.模型下载
3.3.视频生成
3.3.1.UI界面视频生成
3.3.1.1.安装gradio
3.3.1.2.UI界面视频生成
3.3.2.代码视频生成
4.数据集准备
5.训练
5.1.脚本训练
5.2.代码训练
6.lora模型效果
7.附加
1.模型选择
主流的文生视频模型如下:
模型名称 | 开发公司 | 分辨率 | 关键特性 | 应用场景 |
---|---|---|---|---|
Sora 2.0 | OpenAI | 4K | 物理引擎模拟,多镜头生成 | 电影预告,虚拟场景 |
LTX-Video | Lightricks | 1080P | 实时渲染,多风格转换 | 社交媒体,短视频创作 |
通义万相Wan2.2 | 阿里巴巴 | 720P | 中文字幕,单卡运行,物理模拟 | 影视制作,教育,广告 |
Mochi 1.5 | Mochi Inc | 1080P | <