大庆市建设局宫方网站牡丹区建设局网站
评估多智能体协作网络（MACNET）的性能
-
方法选择：选择COT（思维链，Chain of Thought）、AUTOGPT等作为基线方法。
-
COT是一种通过在推理过程中生成中间推理步骤，来增强语言模型推理能力的方法，能让模型更好地处理复杂问题，比如在数学问题求解中，展示解题步骤。
-
AUTOGPT则是基于GPT构建的一种能自主执行任务的智能体，它能根据给定目标，自主生成任务、执行任务，比如让它制定旅行计划，它会自主搜索信息、安排行程等。以这些作为基线，可与MACNET进行对比，评估MACNET在任务处理、推理等方面的性能优劣 。
-
基准数据集：采用MMLU（Massive Multitask Language Understanding）、HumanEval等公开基准数据集。MMLU包含**57个学科的多项选择题，涵盖人文、科学、社会科学等多个领域，**用于评估模型在不同知识