低成本的AI知识库方案及推荐
什么是AI知识库系统
AI知识库系统主要解决的就是非通用领域的内容生成,当我们向AI提问时,我们内部的知识对于通用大模型而言是无法回答的,因为通用大模型压根没有训练我们的特有知识,这好比你向大模型提问:“我上个月工资是多少?“一样。但如果,每个人的工资都训练进入了大模型,那么大模型则可以准确回答出每个人的工资及绩效情况。而对于一个企业而言,内部的产品、服务、特色、优势等,多是企业特有的,但大模型知道内部的企业信息时,则可以产出企业专属的内容,例如向用户推荐公司的产品和服务,对公司产出推广文章甚至推广视频,分析公司内部数据,企业的智能客服等。
常见方案
大体来说,有两个方案。
- 直接把知识库训练进大模型,这种方案成本比较高,所以大众需求通常不会这样做;
- 先从知识库中检索若干条知识点,然后将知识点作为提示词的一部份向通用大模型进行提问。这种方案垂直知识库是非常好的,例如技术文档、规章制度等知识的问答。
两种方案各有利弊,我们下面讲述的所有方案都是第二种方案。
阿里知识库方案
如果训练的知识内容是大众的文章,并且需求是普通问答,那么阿里知识库作为国内大
厂的系统是可以的,直接进入阿里云,找到百炼大模型,创建自己的知识库并上传自己的知识库文档,然后创建应用时选择自己的知识库即可。
但这种方式知识检索出知识库中的内容(原文),并不会使用自然语言进行回答,所以在定制化需求领域有点儿力不从心。
向量数据库方案
网上大部分AI知识库都说的是向量数据库方案,但是可以有时间的同学可以尝试一下,向量数据库似乎对长文本的检索是可以的,但对短文本的检索有些不尽人意。更适合做查重场景,而非问答场景。
ElasticSearch方案
做过全文检索的同学应该知道,ElasticSearch是一个搜索引擎。而ES对长短文本都有较好的检索能力,并且匹配度也是非常不错。
伊娃AI知识库系统
伊娃AI知识库系统是基于ES方案实现的,提供了完整的源码。由清华海峡院高端装备技术研究中心研发,发布至金镐技术社区,通过goldpankit进行源码获取。对于企业文化、规章制度、使用手册、技术文章等垂直领域,效果非常的好。
官网地址:http://www.goldpankit.com/services
大家可以访问官网,官网有演示环境可以直接测试问答效果。下图是演示环境的问答测试:
而对于伊娃AI知识库系统的优势,下面使用官方的一张图来说明: