AI Agent开发第67课-彻底消除RAG知识库幻觉(1)-文档分块全技巧
开篇
在上篇《AI Agent开发第66课-彻底消除RAG知识库幻觉-带推理的RAG》放出后，网友们反响很大。有得告诉我：原来还有Rewrite这么一招？早知道这一招很多之前的一些遗留问题都能解决了。不过在上一篇结尾我已经提到了，要真正解决一个AI Agent在响应时产生的幻觉我们用提示语Rewrite只是其中一招，提示语的Rewrite只是解决了召回率的问题，即充分召回、最大化召回符合客户提问的语料，并可以做到充分挖掘客户的潜在需求，要把幻觉解决的好我们还需要在文档的切分上做足功课。整个RAG3.0（Advanced Rag）里说的就是数据的预处理，这一步处理的好可以把AI回答的精准度达到99%+，所以今天我们就来看对于数据进入知识库前的准备步骤里有哪些点是可以优化的。