小模型是AI Agent的未来

介绍

本文提供了最近论文的总结和评论小语言模型是代理人工智能的未来。该研究是一份立场论文，提出了关于小语言模型(SLMs)在代理人工智能系统中推动创新的潜力的几个深刻的假设，与当前推动现代代理人工智能解决方案的主要组件——大语言模型（LLMs）相比，这些假设非常有见解。

在我们深入讨论论文之前，先来几个快速定义：

• 代理型AI系统是能够在复杂和动态环境中进行推理、规划、决策和行动的自主系统。最近，由于其与最先进的语言模型和其他尖端的AI驱动应用结合使用时的巨大潜力和影响，这个已经研究了几十年的范式重新获得了关注。你可以在这篇文章中找到10个代理型AI关键术语的解释列表.
• 语言模型是基于文本的大规模数据集训练的自然语言处理（NLP）解决方案，用于执行各种语言理解和语言生成任务，包括文本生成和补全、问答、文本分类、摘要、翻译等。

在本文中，我们将区分小型语言模型（SLM）——那些可以在终端消费者硬件上高效运行的“小型”模型——和大型语言模型（LLM）——它们要大得多，通常需要云基础设施。有时，我们会从更一般的角度简单地使用“语言模型”来指代两者。

作者立场

文章一开始便强调了代理型人工智能系统在当今的日益重要性及其被组织广泛采用的程度，通常与语言模型呈共生关系。然而，最先进的解决方案传统上依赖于语言模型（LLMs），因为它们具有深度的、普遍的推理能力和从海量数据集中获得的广泛知识。

这种“现状”以及认为大语言模型（LLMs）是整合到自主人工智能系统中的通用方法这一假设，正是作者在其立场中挑战的内容：他们建议将一些关注点转向小型语言模型（SLMs），尽管与大语言模型相比它们的规模较小，在效率、成本效益和系统适应性方面，它们可能对自主人工智能系统来说是更好的方法。

支持“SLMs 而不是 LLMs 是‘自主人工智能的未来’”这一主张的一些关键观点如下：

• SLMs 足够强大，可以执行大多数当前的代理任务
• SLMs 更适合用于模块化代理型 AI 架构
• SLMs的部署和维护更具可行性

论文进一步通过以下论点详细阐述了这些观点：

SLMs执行代理任务的能力

有几项论据支持这一观点。其中之一是基于实证证据，即SLM性能正在迅速提高，像Phi-2、Phi-3、SmoILM2等模型都报告了有希望的结果。另一方面，由于AI代理通常被指示在有限的语言模型能力范围内表现出色，正确微调的SLM通常应该适用于大多数特定领域的应用，并具有高效和灵活的优势。

SLMs 作为代理型 AI 架构的适用性

SLM 的小尺寸和减少的预训练和微调成本使其更容易适应通常模块化的代理型 AI 架构，并且更容易适应不断变化的用户需求、行为和要求。同时，针对选定领域特定提示集进行充分微调的 SLM 对于专用系统和环境来说已经足够，尽管 LLM 会更广泛地理解语言和整个世界。另一方面，由于 AI 代理经常与代码互动，因此符合某些格式要求以确保一致性也是一个关注点。因此，使用更窄的格式规范进行训练的 SLM 会是更好的选择。

代理系统和代理交互固有的异质性是支持SLMs更适用于代理架构的另一个原因，因为这些交互作为收集数据的途径。

SLM的经济可行性

SLM的灵活性可以轻松转化为更高的民主化潜力。上述降低的运营成本是主要原因。从更经济的角度来看，本文将SLM与LLM进行比较，涉及推理效率、微调敏捷性、边缘部署和参数使用：在这些方面，SLM被认为是优越的。

替代观点、障碍和讨论

作者们不仅提出了他们的观点，还概述并回应了反论，这些反论基于现有的文献。这些包括诸如LLMs通常比SLMs表现更好，这是由于可扩展性法则（但这可能不总是适用于狭义子任务或特定任务的微调）集中的LLM基础设施在大规模下更便宜（这可以通过降低费用和模块化SLM部署来防止瓶颈来反驳），以及行业惰性倾向于选择LLMs而不是SLMs（虽然这是真的，但与其他SLM优势如适应性和经济效率相比并不重要）。

将SLMs作为与代理系统一样通用的方法的主要障碍是，从许多角度来看，LLMs已经建立了主导地位，不仅仅是技术方面，同时在以LLM为中心的管道中也进行了大量投资。清楚地展示SLMs的讨论优势对于激励和促进从LLM到SLM在代理解决方案中的过渡至关重要。

为了完成这篇论文的分析和总结，以下是我对所概述和讨论的一些个人看法。具体来说，尽管论文中的所有论点都建立得非常坚实且令人信服，在我们快速变化的世界中，范式转变往往受到障碍的限制。因此，我认为采用SLMs作为代理AI系统的主要方法存在以下三个主要障碍：

• 在LLM基础设施上的巨大投资（已经由作者指出）使得在短期内很难改变现状，因为以LLM为中心的管道背后有强大的经济惯性。
• 我们可能需要重新思考评估基准，以适应基于SLM的框架，因为当前的基准是设计来优先考虑一般性能方面，而不是在代理系统中的狭隘、专业化的性能。
• 最后，或许是最简单的方法，仍然需要在提高公众对SLMs的潜力和进展的认识方面进行工作。 “LLM” 这个术语在社会中根深蒂固，而 LLM 先的思维模式需要时间与努力才能发展，以便决策者和实践者共同将SLMs视为一种具有自身优势的可能替代品，特别是在将其整合到现实世界的农业人工智能解决方案中时。

最后，从个人角度出发，如果主要的云基础设施提供商能够接受并更积极地推广作者关于SLMs在引领自主AI开发方面的潜力的观点，那么这段旅程的大部分可能就在瞬间完成。