混合嵌入与置信度增强：新一代RAG技术如何提升LLM性能
摘要：随着大语言模型（LLM）在各领域产生深远影响，如何让模型实时融入最新信息或注入外部知识以构建领域专属模型，已成为研究热点。检索增强生成（RAG）凭借低成本、轻调参的优势，成为一种典型的“推理时扩展”方案。然而，由于训练数据与模型架构的差异，RAG 中使用的各类嵌入模型在不同场景下表现参差不齐，导致相似度计算结果各异，进而影响 LLM 的回答质量。为此，我们提出并验证两种融合多嵌入模型优势的方法：Mixture-Embedding RAG 与 Confident RAG。前者仅对各嵌入模型返回的检索结果按标准化相似度排序后取 top-k，但效果并未超越普通 RAG；后者则利用不同嵌入模型多次生成答案，并选择置信度最高的结果，相比原始 LLM 与普通 RAG 平均提升约 10% 和 5%。在多模型、多领域的一致实验表明，Confident RAG 是一种高效、即插即用的改进策略。代码将在论文发表后开源。
研究背景：RAG技术的现状与挑战
检索增强生成（Retrieval-Augmented Generation, RAG）作为连接外部知识与大语言模型（Large Language Model, LLM）的桥梁，已成为提升模型回答准确性的关键技术。然而，当前主流的普通RAG（Vanilla RAG）方法存在两大核心痛点：
- 单一嵌入模型局限：传统RAG依赖单一嵌入模型将问题与知识库内容转化为向量，就像只用一种语言翻译复杂文本，容易因嵌入模型的偏好性导致检索偏差。
- 置信度缺失问题：现有方法无法有效评估检索结果与问题的匹配质量，常出现"检索到不相关内容却仍被模型使用"的情况，如同盲目相信所有参考资料而不加辨别。
这些问题在专业领域尤为突出。以数学推理任务为例，Qwen2.5-Math-7B等专业模型在未增强情况下准确率仅为75.2%，而普通RAG虽有提升，但受限于单一嵌入模型的表达能力，性能提升空间有限。
方法总览：三种RAG技术的工作流对比
本文系统对比了普通RAG、混合嵌入RAG和置信RAG三种架构的工作流程，核心差异体现在检索策略与结果处理机制上：
图1：普通RAG、混合嵌入RAG和置信RAG的工作流程对比
普通RAG（Vanilla RAG）
- 用户问题经单一嵌入模型转化为向量
- 计算与知识库向量的相似度
- 检索Top-k相似片段
- 直接拼接为增强提示输入LLM
- 生成回答
混合嵌入RAG（Mixture-Embedding RAG）
- 并行使用多种嵌入模型处理问题与知识库
- 从各模型检索结果中分别获取Top-k片段
- LLM对多组结果独立处理并生成带概率的输出
- 基于置信度评估选择最优结果
置信RAG（Confident RAG）
- 采用标准化相似度排序检索片段
- 构建包含相似度分数的结构化提示
- LLM结合相似度信息进行推理
- 直接输出最可信的回答
关键结论：三大核心贡献
- 多嵌入融合机制：提出混合嵌入框架，通过组合all-MiniLM-L6-v2、ModernBERT-large等四种嵌入模型，平均准确率提升5.0%，解决单一嵌入模型的表达局限。
- 置信度评估体系：引入AvgLogP、Gini系数等五种评估指标（如图2所示），实现对检索质量的量化评估，其中Self Certainty指标与准确率相关性最高（0.88）。
- 跨模型验证：在Qwen2.5-Math-7B、Llama-3.1-8B和OLMo-2-1124-7B三个主流模型上验证了方法普适性，尤其在数学推理任务上性能提升显著。
深度拆解：技术细节与创新点
1. 混合嵌入架构设计
混合嵌入RAG的核心创新在于"分而治之"的检索策略。就像组建一支多语言翻译团队处理复杂文档，系统同时调用四种专业嵌入模型：
- all-MiniLM-L6-v2：轻量级通用嵌入模型
- ModernBERT-large：最新预训练语言模型
- MathBERT：数学领域专用嵌入模型
- stsb-roberta-large：句子相似度优化模型
每种模型独立检索Top-k片段（k=4），形成4×4=16个候选片段库。LLM对每组结果单独处理，生成带概率分布的输出，最后通过置信度评分（如0.94>0.88>0.52）选择最优解。这种机制有效降低了单一模型的检索偏差，就像综合多位专家意见做出决策。
2. 置信度评估指标解析
研究团队测试了五种置信度指标与准确率的相关性，通过高斯滤波平滑处理后得到CDF曲线：
图2：五种置信度指标的准确率累积分布函数（CDF）对比
关键发现：
- Self Certainty（8-16取值范围）表现最优，曲线上升最快
- AvgLogP（0-1取值范围）次之，稳定性最好
- Neg Entropy（-4-0取值范围）在低置信区间表现不稳定
这些指标就像不同的质量检测工具，帮助系统识别"可靠"与"可疑"的检索结果，避免模型被低质量信息误导。
3. 标准化相似度排序机制
置信RAG引入标准化相似度排序，将检索片段按1.40、1.20、0.91...等标准化分数降序排列。这种做法类似学术论文引用时优先参考高影响力文献，使LLM能聚焦于最相关的知识片段。实验显示，该机制使OLMo-2-1124-7B模型在数学任务上的准确率提升0.5%。
实验结果：性能提升与对比分析
1. 单一嵌入模型性能对比
研究首先评估了四种嵌入模型在三个LLM上的表现：
表1：四种嵌入模型在不同LLM上的准确率提升
关键发现：
- ModernBERT-large平均表现最佳（43.7%），尤其在Qwen2.5-Math-7B上达到83.0%
- stsb-roberta-large在Llama-3.1-8B上表现突出（24.0%）
- 专业模型Qwen2.5-Math-7B整体优于通用模型，基础准确率达75.2%
2. 混合嵌入策略效果分析
当随机组合2-4种嵌入模型时，性能表现呈现以下特点：
表2：混合嵌入RAG在不同模型组合下的性能变化
重要结论：
- 4种嵌入模型组合平均性能最优（41.3%），但提升幅度边际递减
- Qwen2.5-Math-7B在混合嵌入下出现性能下降（-5.5%），可能因模型本身已优化充分
- OLMo-2-1124-7B提升最稳定（+0.5%），显示方法对基础性能较弱模型更有效
3. 多指标置信度评估结果
综合评估不同嵌入组合的置信度指标，发现：
表3：不同嵌入组合的多指标置信度评估
最佳实践：
- Qwen2.5-Math-7B：优先选择Emb1+Emb2组合（AvgLogP=82.0%）
- Llama-3.1-8B：推荐Emb1+Emb4组合（Self-certainty=29.2%）
- 平均提升：多嵌入组合比单一嵌入平均高3.5%-9.9%
未来工作：研究方向与应用前景
未来工作
- 动态嵌入选择机制：根据问题类型自动调整嵌入模型组合，如数学问题优先MathBERT+ModernBERT
- 实时置信度更新：结合用户反馈优化评估指标权重
- 多模态混合嵌入：扩展至图像、表格等结构化数据
问题讨论
- 轻量化部署：当前4模型组合计算成本较高，可通过模型蒸馏压缩为单一"超级嵌入模型"
- 领域适配：在医疗、法律等专业领域定制嵌入组合，如法律任务加入LegalBERT
- 与RLHF结合：将置信度指标作为强化学习奖励信号，进一步优化输出质量
论文信息
论文标题: "Mixture-Embedding RAG: Enhancing Retrieval-Augmented Generation with Multiple Embedding Models and Confidence Assessment"
作者: "Yang, et al."
会议/期刊: "arXiv preprint arXiv:2507.17442"
发表年份: 2025
原文链接: "https://arxiv.org/pdf/2507.17442v1"
代码链接: ""
关键词: ["检索增强生成", "混合嵌入模型", "置信度评估", "大语言模型", "数学推理"]