RAG测试用例集的构造(Ragas的用法)
RAG中的查询类型
其实就是两种分类的组合,一种是single-hop和multi-hop,另外一个是specific和abstract。
- single-hop是一个简单明了的问题,需要从单一文件或来源中检索信息以提供相关答案。Multi-hop是涉及多个推理步骤,需要两个或更多来源的信息。系统必须从各种文件中检索信息,并将这些信息连接起来,以生成准确的答案。
- specific是侧重于清晰、基于事实的检索。RAG 的目标是从一个或多个直接针对特定问题的文档中检索高度相关的信息。abstract需要更广泛、更具解释性的回答。在 RAG 中,抽象查询要求检索系统从包含高层次推理、解释或观点的文档中提取信息,而不是简单的事实。
知识图谱的使用
不同查询的需要综合不同上下文内容,Ragas使用了知识图谱解决了从不同文档的chunk、不同文档中生成测试用查询的测试用例集合的问题。