基于大语言模型的智能问答系统研究
目录
一、问答QA系统基本概念
1、问答系统的发展
2、通用问答系统的基本框架
二、基于大模型的问答系统方法分类
1、基于微调方法
2、基于提示学习
3、基于知识图谱
4、基于检索增强生成（RAG）
5、LLM与RAG和KG协同
6、总结
三、问答系统评价指标
一、问答QA系统基本概念
1、问答系统的发展
问答系统是一种人工智能应用，利用自然语言处理技术自动回答用户的问题，广泛应用于智能客服、虚拟助手、搜索引擎、在线教育和医疗咨询等领域。其核心目标是理解用户的自然语言输入，检索或生成相关信息，并以自然语言形式提供准确的回答。
2、通用问答系统的基本框架
来自文档数据源(例如代码、各类文档)的内容会被拆分成一个个的文本块，并被输入到向量化模型之中。---->这些文本块会通过检索增强生成(RAG)模块与知识图谱(KG)，与输入的问题进行精准匹配，从而找到最为相关的内容---->在此基础之上，生成的语境信息与用户的查询会一同被传递至大语言模型(LLM)当中，通过Prompt以及增强后的上下文，最终生成高质量的答案
二、基于大模型的问答系统方法分类
在构建基于大语言模型(LLM)的问答系统时，方法主要包括:提示学习(prompt learning)、知识图谱(knowledge graph，KG)和检索增强生成(retrievalaugmented generation，RAG)。这些方法在构建高效、智能的问答系统中发挥着至关重要的作用。通过巧妙地将它们应用于agent(智能体)可以显著提升系统的性能和用户体验，
微调方法通过主要包括：全量微调、参数高效微调、少样本微调等技术。
1、基于微调方法
2、基于提示学习
3、基于知识图谱
知识图谱【2】-CSDN博客
知识图谱问答(knowledge graph question answering,KGOA)是根据用户提出的自然语言问题，从图谱中搜寻与其相关的实体，将找到的知识答案返回给用户。
基于知识图谱的问答方法主要分为两类，第一类是基于语义解析的方法，通过符合逻辑形式表示问题，在知识图谱上执行获得最终的答案；第二类是基于信息检索的方法，该方法是指从整个知识图谱中抽取一个子图随后基于子图进行问题的推理，并选取子图中排序较高的实体作为答案。
KG与LLM在QA任务中的通用框架
4、基于检索增强生成（RAG）
检索增强生成(RAG)通过结合信息检索与生成模型的技术优势，将外部知识库检索到的相关内容与用户问题共同输入大语言模型，有效提升了回答的准确性和时效性。相较于传统生成模型(如GPT-3)仅依赖训练数据的局限性，RAG能够实时获取最新信息并减少幻觉生成，在知识密集型和时效性要求高的任务中展现出显著优势。
主要有三种通用框架:retriever-then-read:从外部数据存储中检索相关文档; generate-then-read:提示一个大型语言模型根据给定的问题生成上下文文档，接着读取生成的文档以生成最终答案 ;retrieval-generation synergy:旨在结合信息检索与文本生成的优点。
5、LLM与RAG和KG协同
LLM+RAG-KG是一种将大型语言模型、检索增强生成和知识图谱集成在一起的技术。目前主要分为两种方式
方式一:利用RAG技术从知识图谱中检索相关的实体和关系信息子图，将检索到的知识图谱子图信息输入到大型语言模型。
方式二:先从知识图谱中抽取与用户查询相关的子图，将子图转换为自然语言文本描述，再由大型语言模型接收该自然语言文本。
6、总结
三、问答系统评价指标
