RAG优化实战：业务场景驱动的 Embedding 模型量化评估
大家好，我是herosunly。985院校硕士毕业，现担任算法t研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
本文详细介绍了RAG优化实战：业务场景驱动的 Embedding 模型量化评估，希望能对学习RAG的同学们有所帮助。
文章目录
- 1. 前言
- 2. 构建测评数据集
- 3. 让候选模型“同台竞技”
- 4. 计算和比较相关性
1. 前言
你是否也曾面临这样的困境？
为公司搭建一个新的 RAG（检索增强生成）系统，或者优化一个语义搜索引擎，打开 Hugging Face 或各大模型厂商的主页，面对 BGE-large, GTE-base, M3E, Cohere-v3, OpenAI Ada-002……几十上百个 Embedding 模型，瞬间陷入了选择困难。
我们通常的做法是什么？也许是直接选用 MTEB 排行榜上的 Top 1，或者凭感觉选一个“听说还不错”的。但这往往像是在“开盲盒”，模型在通用数据集上表现优异，不代表它能理解你那充满“黑话”的业务数据。亦或者直接使用最新发布的新模型，比如Qwen3-Embedding或者jina-embeddings-v4模型。
错误的模型选择，轻则导致检索效果不佳、用户体验下降，重则无法达到KPI的考核。今天，我将分享一