【AI论文】MV-RAG：检索增强的多视图扩散模型
摘要：借助预训练的二维（2D）扩散先验知识，文本到三维（Text-to-3D）生成方法取得了显著进展，能够生成高质量且具有三维一致性的输出结果。然而，这些方法在生成域外（Out-of-Domain, OOD）或罕见概念时往往表现不佳，导致结果不一致或不准确。为此，我们提出了MV-RAG，这是一种新颖的文本到三维生成流程，该流程首先从大型野外二维图像数据库中检索相关二维图像，然后利用这些图像对多视图扩散模型进行条件约束，以合成一致且准确的多视图输出。我们通过一种新颖的混合策略来训练这种检索条件模型，该策略将结构化多视图数据与多样化的二维图像集合相结合。具体而言，这一策略包括：利用增强条件视图在多视图数据上进行训练，以模拟检索方差，从而实现特定视图的重建；同时，在检索到的真实世界二维图像集上，采用独特的留存视图预测目标进行训练，即模型根据其他视图预测留存视图，从而从二维数据中推断出三维一致性。为了便于进行严格的域外评估，我们引入了一组具有挑战性的全新域外提示词集合。实验结果表明，与最先进的文本到三维、图像到三维以及个性化基线方法相比，我们的方法在域外/罕见概念的三维一致性、照片真实感和文本契合度方面均有显著提升，同时在标准基准测试上也保持了具有竞争力的性能。Huggingface链接：Paper page，论文链接：2508.16577
研究背景和目的
研究背景：
随着计算机视觉和自然语言处理技术的快速发展，从文本描述生成3D内容已成为一个备受关注的研究领域。这一技术在游戏建模、计算机动画、虚拟现实等多个领域具有广泛的应用前景。近年来，基于预训练2D扩散模型的文本到3D生成方法取得了显著进展，能够生成高质量且3D一致的输出。然而，这些方法在处理领域外（OOD）或罕见概念时仍然面临挑战，常常产生几何不一致或细节不准确的结果。
现有的文本到3D生成方法主要依赖于强大的预训练2D文本到图像扩散模型，如Score Distillation Sampling (SDS) 方法。尽管这些方法在生成常见对象的3D模型时表现良好，但在处理罕见或新出现的概念时，由于2D先验模型的局限性，往往无法生成准确且一致的3D内容。此外，尽管一些研究尝试通过检索现有的3D资产来提供显式的几何先验以增强生成一致性，但这种方法受限于3D数据库的规模和多样性。
研究目的：
为了解决上述问题，本研究提出了MV-RAG（Retrieval Augmented Multiview Diffusion）框架，旨在通过检索与文本提示相关的真实世界2D图像，并结合这些图像来指导多视图扩散模型的生成过程，从而实现对OOD和罕见概念的高质量3D生成。具体研究目的包括：
- 提高OOD和罕见概念的3D生成质量：通过引入检索增强机制，利用大规模2D图像数据集中的真实世界图像，为生成过程提供丰富的视觉先验，从而改善对OOD和罕见概念的3D生成结果。
- 增强几何一致性和 photorealism：通过多视图扩散模型的条件生成机制，确保生成的多个视图之间具有几何一致性，并提高生成结果的视觉真实感。
- 提出一种混合训练策略：结合结构化多视图数据和多样化的2D图像集合，设计一种混合训练方法，使模型能够同时从这两种数据源中学习，从而提高其对OOD概念的鲁棒性。
- 引入新的OOD评估基准：为了全面评估模型在处理OOD和罕见概念时的性能，构建一个新的评估基准OOD-Eval，包含196个具有挑战性的OOD提示。
研究方法
1. MV-RAG框架概述：
MV-RAG框架主要包括三个关键部分：检索模块、多视图扩散模型和混合训练策略。给定一个文本提示，检索模块从大规模2D图像数据库中检索出与提示相关的K个真实世界图像。然后，多视图扩散模型利用这些检索到的图像和文本提示，生成一致且准确的多视图输出。
2. 检索模块：
检索模块使用BM25算法基于文本相似性从2D图像数据库中检索相关图像。为了提高检索图像的相关性，计算提示与图像标题之间的相似性，并丢弃相似性低于阈值的图像。
3. 多视图扩散模型：
多视图扩散模型基于MVDream架构，通过引入解耦的交叉注意力机制，将检索到的图像和文本提示的信息融合到生成过程中。具体来说，模型使用Vision Transformer (ViT) 版本的CLIP编码器提取检索图像的特征，并通过可学习的Resampler模块将这些特征转换为紧凑的标记序列。然后，这些标记序列与文本嵌入一起，通过解耦的交叉注意力层指导多视图图像的生成。
4. 混合训练策略：
为了使模型能够有效地利用结构化多视图数据和多样化的2D图像集合，MV-RAG采用了一种混合训练策略。在3D数据模式下，模型使用从3D对象渲染的多视图图像进行训练，并通过几何和语义增强模拟检索方差，以学习视图特定的重建。在2D数据模式下，模型从2D图像数据集中检索K+1个相关图像，其中K个图像作为条件检索视图，剩余的一个图像作为目标视图，通过预测目标视图来推断3D一致性。
5. 自适应融合机制：
为了平衡基础模型的先验知识和检索图像信号的影响，MV-RAG引入了一种自适应融合机制。该机制根据输入提示的OOD程度动态调整基础模型先验和检索信号的相对贡献。具体来说，通过计算初始候选输出与检索图像之间的相似性来估计OOD程度，并据此调整融合系数。
研究结果
1. OOD和罕见概念的生成质量提升：
在OOD-Eval基准上的实验结果表明，MV-RAG在3D一致性、视觉真实感和文本对齐方面显著优于现有的最先进方法。具体来说，MV-RAG在CLIP、DINOv2和IR等指标上均取得了更高的分数，表明其生成的3D模型在语义和视觉上都更接近真实世界图像。
2. 用户研究验证：
通过用户研究进一步验证了MV-RAG的优势。在真实感、文本对齐和3D一致性方面，用户普遍认为MV-RAG生成的3D模型优于其他基线方法。这表明MV-RAG不仅能够生成几何一致的3D模型，还能够更好地捕捉文本提示中的细节信息。
3. 混合训练策略的有效性：
混合训练策略被证明是有效的。通过结合结构化多视图数据和多样化的2D图像集合，模型能够学习到更鲁棒的几何一致性，并利用2D图像中的丰富视觉多样性来增强生成结果的真实感。
4. 自适应融合机制的作用：
自适应融合机制在处理OOD和罕见概念时发挥了重要作用。通过动态调整基础模型先验和检索信号的相对贡献，模型能够根据输入提示的OOD程度自适应地平衡两者的影响，从而生成更准确的3D模型。
研究局限
尽管MV-RAG在生成OOD和罕见概念的3D模型方面取得了显著进展，但仍存在一些局限性：
1. 检索图像质量的影响：
MV-RAG的性能高度依赖于检索图像的质量和多样性。如果检索到的图像与文本提示不相关或缺乏多样性，可能会导致生成结果不准确或缺乏真实感。
2. 基础模型的局限性：
尽管MV-RAG通过引入检索增强机制改善了生成质量，但其基础模型MVDream仍可能存在对某些罕见概念的先验知识不足的问题。这可能导致在生成这些概念的3D模型时仍存在困难。
3. 计算成本增加：
引入检索模块和混合训练策略增加了模型的计算成本。在处理大规模文本提示和图像数据库时，可能需要更高的计算资源来支持检索和生成过程。
未来研究方向
针对上述局限性，未来的研究可以从以下几个方面展开：
1. 改进检索模块：
探索更先进的检索算法，以提高检索图像的相关性和多样性。例如，可以尝试使用基于深度学习的图像检索方法，结合文本和图像的多模态信息进行更精确的检索。
2. 增强基础模型的先验知识：
通过引入更多的预训练任务或数据集，增强基础模型对罕见概念的先验知识。例如，可以收集包含更多罕见概念的图像数据集进行预训练，或者使用自监督学习方法从大规模无标注数据中学习更丰富的视觉表示。
3. 优化混合训练策略：
进一步优化混合训练策略，以更有效地结合结构化多视图数据和多样化的2D图像集合。例如，可以尝试使用更复杂的权重分配机制来平衡不同数据源对模型训练的贡献。
4. 降低计算成本：
研究更高效的检索和生成算法，以降低MV-RAG的计算成本。例如，可以尝试使用近似最近邻搜索算法来加速检索过程，或者使用更轻量级的神经网络架构来减少生成过程中的计算量。
5. 探索更多应用场景：
将MV-RAG框架应用于更多实际场景中，如游戏开发、虚拟现实、增强现实等。通过与这些领域的专业人士合作，了解他们的具体需求和挑战，进一步优化MV-RAG框架以满足实际应用的需求。