G-Retriever: 用于文本图理解与问答的检索增强生成

摘要

给定一个带有文本属性的图，我们使用户能够“与图对话”：即通过对话界面提出关于图的问题。针对用户的问题，我们的方法提供文本回复并突出图中相关的部分。尽管现有工作以多种方式结合了大型语言模型（LLMs）和图神经网络（GNNs），但它们主要集中在传统的图任务（如节点、边和图分类）或回答小型或合成图上的简单图查询。相比之下，我们开发了一个灵活的问答框架，针对现实世界的文本图，适用于多种应用场景，包括场景图理解、常识推理和知识图谱推理。为此，我们首先开发了一个图问答（GraphQA）基准，数据来自不同任务。然后，我们提出了G-Retriever方法，首次为通用文本图引入了检索增强生成（RAG）方法，可以通过软提示进行微调以增强图理解。为了抵抗幻觉并处理远超LLM上下文窗口大小的文本图，G-Retriever通过将任务形式化为奖励收集斯坦纳树（PCST）优化问题，在图上进行RAG。实验评估表明，我们的方法在多个领域的文本图任务上优于基线方法，能够很好地扩展到更大的图规模，并有效缓解幻觉问题。

1 引言

图与大型语言模型（LLMs）。LLMs的出现显著塑造了人工智能的格局。随着这些模型