当前位置：首页 > news >正文

LLM定制新路径：微调与上下文学习的博弈与融合

news 来源：原创 2025/5/15 10:24:34

在当今人工智能的浪潮中，大型语言模型（LLMs）已成为推动行业进步的关键力量。无论是自然语言处理、文本生成还是多模态应用，LLMs都在展现着它们的强大能力。然而，当我们将这些强大的模型应用于特定的下游任务时，如何有效地定制它们以适应特定的需求，便成了一个至关重要的问题。近期，谷歌DeepMind和斯坦福大学的研究人员在这一领域取得了突破性进展，他们的研究不仅深入比较了微调（fine-tuning）和上下文学习（in-context learning，简称ICL）两种流行的定制方法，还提出了一种全新的混合方法，为LLMs的定制化提供了新的思路和方向。

微调与上下文学习：两种定制策略的较量

在LLMs的定制化过程中，微调和ICL是最为常见的两种策略。微调是一种对预训练好的LLMs进行进一步训练的方法，通过在较小且专门化的数据集上进行训练，调整模型的内部参数，使其掌握新的知识或技能。而ICL则截然不同，它不改变模型的基础参数，而是通过在输入提示中提供任务示例，引导LLMs理解并执行新的类似查询任务。

为了深入探究这两种方法在泛化能力上的差异，研究人员精心设计了一系列实验。他们构建了具有复杂自洽结构的“受控合成数据集”，涵盖了虚构的家族树、虚构概念的层级关系等。为了确保模型真正学习新信息，研究人员将所有名词、形容词和动词替换为无意义的术语，避免了与LLMs预训练时可能接触的数据重叠。

在测试过程中，研究人员设计了多种泛化挑战，如简单的反转测试（如果模型被训练认为“femp比glon更危险”，它能否正确推断出“glon比femp更不危险”？）和简单的三段论测试（如果被告知“所有glon都是yomp”和“所有troff都是glon”，模型能否推断出“所有troff都是yomp”？）。此外，他们还使用了更为复杂的“语义结构基准”，通过丰富的虚构事实层级来测试模型对细节的理解能力。

实验结果显示，在数据匹配的情况下，ICL在泛化能力上优于传统的微调方法。采用ICL的模型在反转关系或从上下文中进行逻辑推断等任务上表现更为出色。而未经微调或ICL的预训练模型表现较差，这表明测试数据对模型来说确实是全新的。

然而，ICL并非没有缺点。尽管ICL无需进行微调，节省了训练成本，但每次使用时都需要向模型提供额外上下文，这使得其计算成本更高。相比之下，微调虽然在泛化能力上稍逊一筹，但在每次使用时的计算成本较低。

混合方法：融合微调与ICL的优势

基于ICL在灵活泛化方面的优势，研究人员提出了一种全新的混合方法来增强微调：将ICL推断加入微调数据中。这种方法的核心在于利用LLMs自身的ICL能力生成更多样化和丰富的推断示例，然后将这些增强后的示例加入到微调数据集中。

研究人员探索了两种主要的数据增强策略：

局部策略：此策略专注于单个信息片段。LLMs被提示对训练数据中的单个句子进行改写，或从中直接推断，例如生成反转关系。
全局策略：LLMs被提供整个训练数据集作为上下文，然后被提示通过将特定文档或事实与其他信息联系起来生成推断，从而产生更长的相关推断链。

当模型在这些增强后的数据集上进行微调时，其性能提升显著。这种增强型微调不仅超越了传统的微调方法，甚至比单纯的ICL表现更好。

谷歌DeepMind的研究科学家、论文的主要作者安德鲁·兰皮内（Andrew Lampinen）指出，如果企业文档中提到“XYZ是用于数据分析的内部工具”，他们的研究表明，ICL和增强型微调将更有效地使模型能够回答相关问题，如“有哪些用于数据分析的内部工具？”这种混合方法为企业提供了一条极具吸引力的发展路径。通过投资创建这些ICL增强型数据集，开发者可以构建出具有更强泛化能力的微调模型。

这种方法可以带来更健壮、更可靠的LLMs应用，这些应用在处理多样化的现实世界输入时表现更好，且无需承担与大型上下文提示相关的持续推理成本。虽然兰皮内也提到，增强型微调会使模型微调过程变得更加昂贵，因为它需要额外的ICL步骤来增强数据，随后再进行微调。但从长远来看，当模型多次使用时，这种方法在计算成本上比每次使用都应用ICL更为划算。

兰皮内还强调，尽管需要进一步研究来探究他们在不同设置中研究的组件之间的相互作用，但他们的发现表明，当开发者发现单独的微调性能不足时，可能需要考虑探索增强型微调。他希望这项工作能够为理解基础模型中的学习和泛化科学，以及将它们适应下游任务的实践做出贡献。