【智能体】Ch3-提升模型性能的定向学习(Enhancing model performance with targeted learning)

有效使用模型的一个关键方面是它们在生成输出时能够选择正确的工具，尤其是在大规模生产中使用工具时。虽然通用训练帮助模型发展这种技能，但现实世界的场景常常需要超越训练数据的知识。可以想象这就像基础烹饪技能与特定菜系精通之间的区别。两者都需要基础的烹饪知识，但后者需要定向学习以获得更细致的结果。
为了帮助模型获得这种特定知识，有几种方法存在：
· 上下文学习(In-context learning)：这种方法在推理时为通用模型提供提示、工具和少量示例，使其能够“即时”学习如何以及何时使用这些工具来完成特定任务。ReAct框架是这种在自然语言中的一种应用。
· 基于检索的上下文学习(Retrieval-based in-context learning)：该技术通过从外部记忆中检索最相关的信息、工具和关联示例，动态填充模型提示。例如，Vertex AI扩展中的’Example Store’或之前提到的数据存储RAG架构。
· 微调学习(Fine-tuning based learning)：此方法通过在推理之前使用更大的特定示例集训练模型，帮助模型在接到用户查询前了解如何以及何时应用某些工具。
为了提供每种定向学习方法的额外见解，我们可以重温烹饪类比。
· 想象一位厨师收到了一份特定的食谱（提示）、一些关键食材（相关工具）和顾客提供的一些示例菜品（少量示例）。基于这些有限的信息和厨师的烹饪常识，他们将需要“即时”弄清楚怎样最贴近地准备菜品满足食谱和顾客的偏好。这是上下文学习。
· 现在想象我们的厨师在一个备货充足的厨房里（外部数据存储），那里有各种食材和烹饪书籍（示例和工具）。厨师现在能够从储藏室中动态选择食材和烹饪书籍，更好地与顾客的食谱和偏好对齐。这使厨师能够利用