【学习资源】知识图谱与大语言模型融合

知识图谱与大型语言模型结合参数知识和明确知识的可用性会带来一些机会和愿景。分享一些知识图谱和大语言模型融合的论文和文章、实践案例、关键技术和实用工具。

1 模型库获取

https://modelscope.cn/models 注 下载模型需运行 git lfs instal

2 论文和文章

2.1 大型语言模型与知识图谱：机遇与挑战 

https://arxiv.org/pdf/2308.06374 中文简介参考 大型语言模型与知识图谱：机遇与挑战 - 专知VIP 

包括4.1. LLMs 用于 KGs：知识提取和规范化，4.2 用于KG的LLMs：知识图谱构建，4.3 KG 的 LLMs： 本体模式构建，4.4 KGs for LLMs： 训练和访问 LLM 4.5 应用。

2.2 大语言模型增强的知识图谱问答研究进展综述

大语言模型增强的知识图谱问答研究进展综述 2024年9月29日 冯拓宇，李伟平，郭庆浪，王刚亮，张雨松，乔子剑．大语言模型增强的知识图谱问答研究进展综述[J/OL]．计算机科学与探索.

https://link.cnki.net/urlid/11.5602.TP.20240929.1255.004

2.3 基于大语言模型的时序知识图谱推理模型蒸馏方法

基于时序知识图谱的推理， 是提升智能决策效率推理未来态势的技术基础。传统推理模型面临着模型参数规模大、 计算硬件需求高等问题， 难以满足低性能、 低功耗分布式设备的实时推理决策要求。传统模型压缩方法忽略了时序特征。提出一种应用于时序知识图谱推理模型的蒸馏方法， 构建基于大语言模型的蒸馏框架， 融合海量公开知识和特定时序知识， 模型训练。在公开数据集上展开的实验表明该方法优于国际同类方法。

司悦航， 成清， 黄金才， 等 . 基于大语言模型的时序知识图谱推理模型蒸馏方法 [J]. 指挥与控制学报， 2024， 10 （ 6 ）：712-719

2.4 大型语言模型与知识图谱协同研究综述：两大技术优势互补

大型语言模型与知识图谱协同研究综述：两大技术优势互补 机器之心 2023年07月03日 13:00 包含以下几种方式 1）KG 增强型 LLMs，在 LLMs 的预训练和推理阶段纳入 KG，或用于增强对 LLMs 所学知识的理解； 2）LLM 增强型 KG、 3) LLMs + KGs 协同：LLMs 和 KGs 发挥同等作用，并以互惠互利的方式增强 LLMs 和 KGs，以实现由数据和知识驱动的双向推理。

2.5 肖仰华｜人工智能大模型发展的新形势及其省思

肖仰华 学术前沿杂志 2024年07月18日 肖仰华｜人工智能大模型发展的新形势及其省思

2.6 EMNLP2024｜从知识图谱中习得大语言模型的规划能力

论文链接 https://arxiv.org/pdf/2406.14282

代码链接：https://github.com/zjukg/LPKG

中文介绍可查看 https://www.zhuanzhi.ai/vip/d53c25d9e27dc49a4e145906f35c6941

2.7 图模互补：知识图谱与大模型融合综述

黄勃，吴申奥，王文广，杨勇，刘进，张振华，陈南希，杨洪山．图模互补：知识图谱与大模型融合综述[J/OL]．武汉大学学报(理学版).https://doi.org/10.14188/j.1671-8836.2024.004

3 实践案例

3.1 《知识图谱与大模型融合实践研究报告》

2023年08月04日 知识图谱标准化微信公众号

中国电子技术标准化研究院发布《知识图谱与大模型融合实践研究报告》

图片来源：知识图谱与大模型融合实践研究报告 2023年版 中国电子技术标准化研究院

3.2 达观数据的方案

来源 “新KG”视点 | 王文广——图模互补：知识图谱与大模型的共生新模式-CSDN博客 架构图 知识图谱大模型融合系统架构图.png

一方面大模型会利用知识图谱和用户的查询作为输入，来生成合适的问答答案。另一方面则是通过大模型生成知识图谱的检索语句，并利用图数据库执行结果的反馈来纠正可能存在的错误。最后，这些结果以提示工程的方式输入到大模型中，并生成最终的答案来实现与用户的交互。

系统的关键点在于三点：

1.大模型和知识图谱的互动，以及整个系统能够给大模型的反馈；

2.在不同任务和场景中，知识图谱会提供不同的模式（Schema）给大模型，同时知识图谱的存储系统（图数据库）可以反馈执行结果；

3.前述所提到的各种推理增强方法都可应用到这个系统中，既包括知识图谱增强大模型的推理能力（比如时间推理能力），也包括大模型增强知识图谱的推理能力（比如长路径预测）。

4 关键技术

2023年7月7日世界人工智能大会“AI生成与垂直大语言模型的无限魅力”论坛上上海市数据科学重点实验室主任、复旦大学教授肖仰华《面向领域应用的大模型关键技术》的主题分享

2023 年 8 月 10 日 如何应对大模型的幻觉现象？一本正经胡说 如何应对大模型缺乏对于给定信息的"忠实度"？ 可能的优化方法

• 提升大模型对长文本的理解能力
• 提升复杂任务的规划和协同能力
• 优化文本的结构化解释和风格样式
• 提升大模型的问答领域问题的能力，包括不兜圈子直接回答、忠实于给定文档的回答以及坚定正确信念等能力

全文查看 肖仰华丨面向领域应用的大模型关键技术

5 实用工具

5.1 用大模型增强的知识抽取 DeepKE-LLM

https://github.com/zjunlp/DeepKE/tree/main/example/llm 注：代码可以使用，但文档有不全的地方，使用时注意调试。

InstructionKGC-指令驱动的自适应知识图谱构建

将Instruction-based KGC制定为一种遵循指令的自回归生成任务。模型首先需要理解指令识别其意图，然后根据指令内容，模型会基于输入的文本抽取相应的三元组并以指定的格式输出。本文的 instruction 格式采纳了类JSON字符串的结构，实质上是一种字典型字符串。它由以下三个字段构成： (1) 'instruction'，即任务描述，以自然语言指定模型扮演的角色以及需要完成的任务； (2) 'schema'，这是一份需提取的标签列表，明确指出了待抽取信息的关键字段，反应用户的需求，是动态可变的； (3) 'input'，指的是用于信息抽取的源文本。

用OneKE预测结果 612ie专用模型 

https://github.com/zjunlp/DeepKE/blob/main/example/llm/InstructKGC/README_CN.md#612ie%E4%B8%93%E7%94%A8%E6%A8%A1%E5%9E%8B

输入输出数据可查看

https://github.com/bettermorn/KGCourse/tree/master/Lab/LLM/OneKE

OneKE是由蚂蚁集团和浙江大学联合研发的大模型知识抽取框架，具备中英文双语、多领域多任务的泛化知识抽取能力，并提供了完善的工具链支持。OneKE以开源形式贡献给OpenKG开放知识图谱社区。魔搭社区

大型语言模型的易用指令处理框架

https://github.com/zjunlp/EasyInstruct

注：使用此框架需要 openai_api_key

5.2 GraphRAG

https://github.com/microsoft/graphrag

GraphRAG 使用一个大型语言模型（LLM）来自动从任何文本文档集合中提取丰富的知识图谱。这种基于图的数据索引最令人兴奋的特性之一是它能够在用户查询之前报告数据的语义结构。它通过以分层方式检测“社区”中密集连接的节点来实现这一点，从高级主题到低级主题在多个层次上对图进行分割，如图 1 所示。使用 LLM 总结每个这些社区，创建了数据的分层摘要，提供了一个数据集概览，无需事先知道要提出什么问题。每个社区都作为一个社区摘要的基础，描述其实体及其关系。

重磅 - 微软官宣正式在GitHub开源GraphRAG Original KGGPT 知识图谱科技 2024年07月03日 07:28 北京 https://github.com/Azure-Samples/graphrag-accelerator/在 Azure 上托管，提供了一个易于使用的 API 体验，可以无需编码地在几次点击之内部署。

• 参考代码：https://github.com/NanGePlus/GraphragTest 说明：此代码只需准备文本raw data和大语言模型，可实现本地和全局检索。从2万字西游记文本中建立知识索引，可实现本地和全局检索，产生用Neo4j可视化的知识图谱

从知识图谱到 GraphRAG：探索属性图的构建和复杂的数据检索实践 Original Divyanshu Dixit SPG知识图谱 2024年07月31日 19:05 浙江 作者介绍：Divyanshu Dixit，Divisin.ai 联合创始人 原文链接：https://div.beehiiv.com/p/knowledge-graphs-graphrag-advanced-intelligent-data-retrieval 

详细内容： 从知识图谱到 GraphRAG：探索属性图的构建和复杂的数据检索实践 

教程： https://github.com/run-llama/llama_index/blob/main/docs/docs/examples/cookbooks/GraphRAG_v1.ipynb

5.3 Modular RAG

• 论文 Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks论文链接 https://arxiv.org/pdf/2407.21059
• 案例 资管领域大模型应用案例 | 万家基金基于Modular RAG技术范式的知识库系统 参考链接

https://mp.weixin.qq.com/s/F-Y80IoTkmvmtw0kIS1mYw

6 其他参考文章

大模型研发核心：数据工程、自动化评估及与知识图谱的结合 - 专知VIP

希望大家能融合知识图谱与大语言模型，做好知识管理相关工作。