不用训练，集成多个大模型产生更优秀的输出
论文标题
Collab: Controlled Decoding using Mixture of Agents for LLM Alignment
论文地址
https://arxiv.org/pdf/2503.21720
作者背景
JP摩根，马里兰大学帕克分校，普林斯顿大学
动机
大模型对齐（alignment）的主要目的是让模型输出更符合人类偏好或者业务需要，当前实现对齐的主流方案是RLHF，但不管是何种具体的实现都需要准备充足的训练数据，来训练调整模型参数，计算成本较大；
在高度专业化或者需要快速定制化的场景中，一般需要更轻量级的方法来实现业务对齐。此时不需要修改模型的受控解码便成为了更有前景的替代方案，它直接在推理阶段对模型的解码行为进行控制，以实现与目标偏好的对齐 。
相关研究表明，受控解码可以显著提高LLM满足特定需求的能力，甚至在某些场景下超过PPO/DPO（https://arxiv.org/pdf/2402.01694）
然而，现有受控解码方法大都针对于单一智能体，这在面对当下越来越多样化、可能有冲突的对齐需求时显得力不从心。例如，一方面我们可能希望模型叙事更严谨，另一方面又希望模型具有丰富的创造性；
尽管有些工作探索了集成多个智能体来应对上述挑战，但现有方法都依赖于弱监督或固定的公式来混合模型输出，缺乏灵活性并且可能需要额外的训练。
于是本文希望在不进行重新训练的情况下，设计一种推理时的动态解码机制，集成多个预训练好的LLMs，以实现最优的对齐效果
本文方法
作者提出Collab（基于混合agent的受控解码，Controlled decoding via mixture of agents），可以在token级别上动态选择最适合当前上下文的智能体来生成下一个词，这里的“智能体”指的就是已经预训练好，并且在特定任务或偏好上做了对齐的LLMs，如下图所示：
在token级别上选择合适的智能体，是一种奖励信号后置任务，可以使用Q-Learning等强化学习算法来解。为了实现上述“不重新训练”便恰当集成多个智能体的目标，作者从带KL正则项的强化学习（就是一般的RLHF）目标出发，尝试寻找出一个能够利用已知信息来近似Q函数的方法；
先说结论，作者找到的近似方法为：
其中，Q(s, a)是在上下文状态为s的情况下，候选智能体π_j输出a的奖励期望；π_ref是参考模型，集成的结果不会过于偏离它。也就是说，Collab把【每个候选模型本身的输出概率分布，与参考模型分布的对数差】作为价值估计。更通俗地讲：相比于标准答案，每个“专家”提出的意见便是我们去咨询这个专家所获得的收益
获取到Q函数的估计结果后，便可以通过以下流程实现多LLMs的集成式解码：
- 在每个时间步，从每个模型中采样出top_p个token，使用预估的Q函数计算其奖励预期，
- 选择Q值最高的token作为当前解码结果，加入到上下文中，作为下一步解码的环境状态
- 重复上述过程，知道生成完整的响应
推导过程
一、近似Q函数推导
本节展示上述Q函数的估计过程，以及作者对其误差的估计。首先把问题建模为带KL正则项的强化学习：
其中参考模型使用的是Zephyr-7B-α、Starling-7B-α 等已经在通用文本任务上进行监督微调或RLHF的开源模型；
然后基于概率归一化条件（ΣΠ(a|s)=1），构造拉格朗日函数：
对策略概率Π(a|s)求偏导并令其为0，达到极值条件：
整理得到：
两边取指数：
上面等式在Π(s, a)到达极小值时成立，即最优的策略模型，记为Π*；再把与a无关的项看成常数C，则可以解出最优Q函数：
于是我们就找到了策略模型Π与价值函数Q的对应关系。但此时最优策略模型Π*是未知的，作者直接使用当前智能体Πj来代替Π*
二、误差估计
使用当前候选智能体模型的分布Πj代替最优分布Π*带来了误差，具体可表示为：
带入之前推导出来的Q与Π对应关系：
根据pinsker不等式与KL散度的定义，可推出：
其中C’为某个有限的常数。也就是说，本文的Q函数估计方法，误差是有界的。如果Π*与Πj的差距不大，则估计的Q与最优的Q也很相近。
也就是说，如果我们的候选智能体本身都比较优秀、都经过了充分的训练与对齐，与目标策略差距不大（本文的动机确实也只是想结合不同的模型避免产生冲突），使用上述对数差来估计路由智能体的奖励是可靠的
实验结果
作者使用了市面上各种开源的，已经完成对齐训练的模型作为实验对象，在多轮对话与道德对齐数据集上进行测试，具体的实验设置如下：
- Berkeley Nectar：多轮对话和问答数据集
- HH-RLHF：数据集对齐数据集
使用GPT-4作为裁判，本文提出的CoLLAB方法相较于对照组（参考上表）以及BoN采样的胜率：
各对照组（参考上表）与实验组，在测试任务上的奖励分数对比：
多样性与连贯性对比：
集成的智能体多样性越强效果越好：
