【AI论文】Paper2Video：从科学论文自动生成视频
摘要：学术演示视频已成为科研传播的重要媒介，但制作此类视频仍极为耗时耗力——为制作一段时长2至10分钟的短视频，往往需要投入数小时进行幻灯片设计、录制及后期编辑。与自然视频不同，演示视频的生成面临独特挑战：输入源自研究论文，包含密集的多模态信息（文本、图表、表格），且需协调幻灯片、字幕、语音及演讲者形象等多个对齐通道。为应对这些挑战，我们推出了PaperTalker数据集，该数据集包含101篇研究论文及其作者制作的演示视频、幻灯片和演讲者元数据，是首个此类基准数据集。此外，我们设计了四项定制评估指标——元相似度（Meta Similarity）、演示竞技场（PresentArena）、演示问答（PresentQuiz）和信息记忆度（IP Memory），用以衡量视频向观众传达论文信息的有效性。基于此，我们提出了首个用于学术演示视频生成的多智能体框架PaperTalker。该框架通过新颖的有效树搜索视觉选择、光标定位、字幕生成、语音合成及虚拟人渲染技术，将幻灯片生成与高效布局优化相结合，同时并行化幻灯片级生成以提高效率。在Paper2Video数据集上的实验表明，与现有基准方法相比，我们的方法生成的演示视频更为忠实且信息丰富，为自动化、即用型学术视频生成迈出了切实一步。我们的数据集、智能体框架及代码均可在https://github.com/showlab/Paper2Video获取。Huggingface链接：Paper page，论文链接：2510.05096
研究背景和目的
研究背景：
随着学术研究的快速发展，学术会议和期刊对于高质量学术演示视频的需求日益增长。
学术演示视频作为研究成果传播的重要媒介，能够有效连接研究者与观众，促进学术交流与合作。然而，传统的手动制作学术演示视频过程繁琐且耗时，通常需要数小时的设计、录制和编辑工作，才能完成一段短短2到10分钟的视频。这不仅增加了研究者的负担，也限制了学术成果的广泛传播。尽管近年来在幻灯片和海报生成方面取得了一些进展，但自动生成学术演示视频仍然是一个尚未充分探索的领域。
研究目的：
本研究旨在解决学术演示视频自动生成的问题，通过引入多智能体框架，提出一种名为PaperTalker的系统，实现从研究论文到学术演示视频的自动转换。具体目标包括：
- 减轻研究者负担：通过自动化生成学术演示视频，减少手动制作所需的时间和精力，使研究者能够更专注于研究本身。
- 提高视频质量：确保生成的视频在内容准确性、视觉吸引力和观众可达性方面达到高标准，有效传达研究成果。
- 提供全面评估：建立一套全面的评估指标，用于衡量生成视频在信息传递、观众理解和工作影响力方面的表现。
- 推动AI4Research发展：通过自动化生成学术演示视频，推动AI在科研领域的应用，提高科研效率。
研究方法
为了实现上述研究目标，本研究采用了以下研究方法：
1. 基准数据集构建：
本研究构建了Paper2Video基准数据集，包含101篇研究论文及其作者录制的演示视频、幻灯片和演讲者元数据。
该数据集覆盖了机器学习、计算机视觉和自然语言处理等多个领域，为学术演示视频的自动生成提供了丰富的输入数据。
2. 多智能体框架设计：
提出PaperTalker多智能体框架，集成幻灯片生成、字幕生成、光标定位、语音合成和讲者视频渲染等多个模块。每个模块由专门的智能体负责，通过协作完成学术演示视频的自动生成。
具体包括：
- 幻灯片生成模块：采用LaTeX代码生成幻灯片，通过树搜索视觉选择和编译反馈机制优化布局。
- 字幕生成模块：利用视觉语言模型（VLM）生成字幕和视觉焦点提示。
- 光标定位模块：通过UI-TARS模型和WhisperX实现光标时空对齐。
- 语音合成模块：采用F5-TTS模型生成个性化语音。
- 讲者视频渲染模块：利用Hallo2和FantasyTalking模型生成讲者视频，支持上身动作合成。
3. 评估指标设计：
为了全面评估生成视频的质量，本研究设计了四个评估指标：Meta Similarity、PresentArena、PresentQuiz和IP Memory。这些指标分别从信息传递、观众体验、知识覆盖和工作影响力等多个维度对生成的视频进行综合评价。
研究结果
性能表现：
实验结果表明，PaperTalker系统在多个基准测试集上显著优于基线系统。特别是在信息相似度（Meta Similarity）、观众偏好（PresentArena）、知识覆盖（PresentQuiz）和工作影响力（IP Memory）等方面，PaperTalker均表现出色，证明了系统在学术演示视频自动生成方面的有效性和优越性。
具体案例：
- 案例一：在NBA赛季数据集上生成的总得分随年份变化的折线图视频，与人类制作的视频高度相似，准确传达了核心信息。
- 案例二：在Steam游戏数据集上生成的标准游戏时间与正面评分之间的Pearson相关系数散点图视频，成功展示了复杂的数据关系，并获得了观众的高度评价。
用户反馈：
用户研究表明，PaperTalker生成的视频在内容准确性、视觉吸引力和观众参与度方面均得到了积极反馈。
特别是在信息覆盖和观众记忆度（IP Memory）方面，PaperTalker表现出色，显著提升了观众对研究成果的记忆和关联能力。
研究局限
尽管PaperTalker在学术演示视频自动生成方面取得了显著进展，但仍存在一些局限性：
1. 数据依赖性和多样性：
当前系统依赖于高质量的研究论文和作者录制的演示视频作为训练数据。然而，不同领域和风格的研究论文在结构和内容上存在显著差异，这可能导致系统在某些特定领域或风格上的表现不佳。
未来需要探索如何增强系统的适应性和泛化能力，以处理更广泛的数据类型和风格。
2. 评估指标的主观性：
尽管设计了多个客观评估指标来衡量生成视频的质量，但观众的主观感受和偏好仍然是一个重要的考量因素。
未来研究可以进一步探索如何结合主观和客观评估方法，以提供更全面的评价。
3. 计算资源和效率：
尽管PaperTalker通过并行化生成策略提高了效率，但在处理大规模或复杂数据集时，仍需要较高的计算资源。
未来研究可以探索更高效的算法和优化策略，以降低计算成本并提高生成速度。
未来研究方向
针对PaperTalker系统的局限性和学术演示视频自动生成领域的发展趋势，未来研究可从以下几个方面展开：
1. 增强系统的适应性和泛化能力：
通过引入更先进的迁移学习和领域适应技术，使系统能够处理不同领域和风格的研究论文，提高系统的适应性和泛化能力。
同时，探索如何利用少量标注数据或无监督学习方法，降低对大量高质量标注数据的依赖。
2. 结合主观和客观评估方法：
在现有客观评估指标的基础上，引入主观评估方法（如用户调查、专家评审等），以更全面地评价生成视频的质量。通过结合主观和客观评估结果，为系统的持续优化提供更有针对性的指导。
3. 优化计算资源和效率：
研究更高效的算法和优化策略，以降低系统在处理大规模或复杂数据集时的计算资源需求。
例如，可探索基于分布式计算的并行化策略，或引入更高效的特征提取和降维算法。同时，优化系统的生成流程，减少不必要的计算和存储开销。
4. 引入更丰富的交互和反馈机制：
结合语音交互、手势识别等先进的交互技术，为用户提供更自然、便捷的交互方式。
同时，研究如何更有效地收集和利用用户反馈，以指导系统的持续优化和改进。通过引入丰富的交互和反馈机制，提升用户体验和满意度。
5. 推动开源与社区协作：
推动PaperTalker系统的开源实现，促进社区协作与持续改进。
通过开源社区的力量，不断完善和优化系统，形成开放、共享的研究生态。同时，探索与其他开源项目的集成和协作，共同推动学术演示视频自动生成领域的发展。