北邮：LLM强化学习架构Graph-R1

📖标题：Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning
🌐来源：arXiv, 2507.21892

🌟摘要

检索增强生成 (RAG) 通过结合外部知识来减轻 LLM 中的幻觉，但依赖于缺乏结构语义的基于块的检索。GraphRAG 方法通过将知识建模为实体关系图来改进 RAG，但在高构建成本、固定一次性检索以及对长上下文推理和提示设计的依赖方面仍然存在挑战。为了应对这些挑战，我们提出了 Graph-R1，这是一种通过端到端强化学习 (RL) 的代理 GraphRAG 框架。它引入了轻量级知识超图构建、模型检索作为多轮代理-环境交互，并通过端到端奖励机制优化代理过程。在标准RAG数据集上的实验表明，Graph-R1在推理精度、检索效率和生成质量方面优于传统的GraphRAG和RL增强的RAG方法。我们的代码公开在https://github.com/LHRLAB/Graph-R1

🛎️文章简介

🔸研究问题：如何通过强化学习架构提升图结构知识的推理精度、检索效率和生成质量？
🔸主要贡献：论文提出了Graph-R1，一个基于端到端强化学习的agentic GraphRAG框架，显著提升了知识驱动的生成系统的表现。

📝重点思路

🔸提出了一种轻量级知识超图构建方法，以支持智能推理。
🔸设计了多轮图交互的模型，允许智能体在知识超图环境中反复进行“思考-检索-再思考-生成”的推理循环。
🔸采用了结果导向的强化学习目标，通过组相对策略优化（GRPO）来优化推理策略，以生成准确且结构良好的答案。

🔎分析总结

🔸实验表明，Graph-R1在推理准确性、检索效率和生成质量上均超过传统的GraphRAG方法和其他 RL 增强的基线方法。
🔸通过消融研究，发现知识构建、多轮交互和强化学习的各个模块对性能均有显著贡献，缺少任何一个模块都会导致性能下降。
🔸Graph-R1的响应时间和生成成本相较于现有方法明显更优，表明其在实际部署中的潜力。

💡个人观点

论文的创新点在于将强化学习与图结构知识的多轮交互过程结合起来，提出了一种新的知识表示方式。

🧩附录