【大模型评估】大模型评估的五类数据

概述

大模型评估数据主要分为五类：
1）知识类（如C-Eval、MMLU），用于评估中英文知识掌握程度
2）推理类（如GSM8K、BBH），测试数学和复杂推理能力；
3）语言类（如CLUE、AFQMC），衡量中文语义理解和处理能力；
4）代码类（如HumanEval、MBPP），评估代码生成质量；
5）模态类（如MMBench、SEED-Bench），测试多模态任务表现。
这些数据集全面检验大模型在不同领域的性能，为技术优化提供基准支持。

1.大模型评估数据种类

1.1 知识类

• C-Eval（中文考试题，无特定英文全拼，名称即 “C-Eval”）
  简介：由清华大学等机构发布，是面向中文基础模型的综合性评估基准，涵盖 52 个不同学科和领域，包括自然科学、社会科学、工程技术、人文学科等。
  用途：用于评估模型在中文知识问答、理解和推理等方面的能力，帮助了解模型对广泛中文知识的掌握程度。

• CMMLU（Chinese Multimodal Language Understanding，中文多模态语言理解）
  简介：一个多语言的大规模知识理解评估基准，覆盖多种语言，能够对模型在不同语言环境下的知识理解和回答能力进行全面评估。
  用途：可用于衡量模型在跨语言知识处理上的表现，促进多语言大模型的发展和优化。

• MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）
  简介：由 OpenAI 提出，是一个用于评估大规模语言模型在多领域知识上的表现的基准，包含从基础科学到人文艺术等 57 个不同的知识领域的多项选择题。
  用途：评估模型在英文语境下对各类知识的掌握和推理能力，判断模型在不同知识领域的优势和不足。

1.2 推理类

• GSM8K（Grade School Math 8K，小学阶段数学 8 千题）
  简介：前文已介绍，它是小学数学题数据集，题目需多步骤推理和基础算术运算解决。
  用途：评估模型在数学领域的多步骤推理能力，推动模型在解决数学问题方面的算法改进和性能提升。
• BBH（Big Bench Hard，Big Bench 难题集）
  简介：即 Big Bench Hard，是从 Big Bench 基准中挑选出的一系列复杂推理任务集合，涵盖常识推理、符号推理、逻辑推理等多种类型，任务难度较高。
  用途：用于评估模型在复杂推理链场景下的表现，检测模型的高级推理能力和泛化能力。

1.3 语言类

• CLUE（Chinese Language Understanding Evaluation，中文语言理解评估）
  简介：中文语言理解测评基准，包含多个不同类型的任务，如文本分类、命名实体识别、语义相似度计算等，覆盖多种中文自然语言处理任务场景。
  用途：评估模型在中文自然语言理解和处理任务上的综合能力，助力中文 NLP 技术的发展。
• AFQMC（Ant Financial Question Matching Corpus，蚂蚁金融问题匹配语料库）
  简介：蚂蚁金服语义相似度数据集，主要任务是判断两个中文句子在语义上的相似程度。
  用途：专注于评估模型在语义理解和相似度判断方面的能力，在信息检索、文本匹配等应用场景有重要作用。

1.4 代码类

• HumanEval（无特定拓展性全拼，名称即 “HumanEval”）
  简介：由 OpenAI 创建，包含 164 个用于评估代码生成模型的编程问题，每个问题都有自然语言描述和对应的单元测试，测试用例用于验证生成代码的正确性。
  用途：评估模型根据自然语言描述生成可执行、正确代码的能力，推动代码生成模型的优化和发展。
• MBPP（Multi - language Benchmark for Programming Problems，多语言编程问题基准）
  简介：全称是 Massive Black - Box Program Synthesis，是一个用于评估程序合成模型的数据集，包含数千个用自然语言描述的编程任务，涵盖多种编程语言和不同难度级别的编程问题。
  用途：帮助评估模型在程序合成任务上的表现，促进自动代码生成技术的进步。

1.5 模态类

• MMBench（Multimodal Benchmark，多模态基准）
  简介：多模态基准测试集，用于评估模型在图像理解、图文关联等多模态任务上的能力，涵盖图像分类、目标检测、视觉问答等多种任务类型。
  用途：推动多模态模型在图像相关任务上的性能提升和技术发展，助力实现更智能的多模态交互。
• SEED - Bench（Scalable and Efficient Evaluation for Multimodal Foundation Models Benchmark，多模态基础模型可扩展高效评估基准）
  简介：用于评估多模态模型在问答任务上的表现，融合了文本、图像等多种模态信息，要求模型基于多模态输入进行理解和回答问题。
  用途：评估模型在多模态问答场景下的综合能力，促进多模态知识融合和问答技术的发展。