Rerank的评测

RAG中如果第一次的召回不是很理想，最好优先排查一下相似度检索算法。如果发现是相似度算法的问题，那么可以增大top-k，然后引入更精确的算法进行rerank

针对rerank的评测，使用命中率（hit rate）和平均倒数排名两个指标（MRR）。

• 命中率（Hit rate）：计算在前k个检索文档中找到正确答案的查询比例。简单来说，它是关于我们的系统在前几次猜测中正确的频率。

• 平均倒数排名(MRR):对于每个查询，MRR通过查看排名最高的相关文档的排名来评估系统的准确性。具体来说，它是所有查询中这些秩的倒数的平均值。因此，如果第一个相关文档是顶部结果，则倒数排名为1;如果是第二个，倒数是1/2，以此类推。

评测rerank模型需要通过embedding 模型的支持。因此想要通过rerank模型提升效果需要实际的选择rerank模型和embedding模型。

上图来自llamaindex项目团队的一个对比测试（https://www.llamaindex.ai/blog/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83）

那么从表中选择最优解可以大大提高我们的召回效果。