Note

常见 LLM 综合基准各自侧重什么？

介绍 MMLU、Big-Bench、HumanEval 等基准及其评估重点。

请介绍几个目前行业内广泛使用的 LLM 综合性基准测试，并说明它们各自的侧重点。（例如：MMLU, Big-Bench, HumanEval）

为了更全面地评估LLM的能力，学术界和工业界开发了许多综合性基准测试。其中，MMLU、Big-Bench和HumanEval是最具代表性的几个，它们各自有不同的侧重点：

  1. MMLU (Massive Multitask Language Understanding)

    • 侧重点： 知识的广度与学科问题解决能力。
    • 简介： MMLU是一个大规模的多任务测试集，旨在衡量模型在各种学科领域的知识水平。它包含57个不同的科目，涵盖了从初等数学、美国历史、计算机科学到专业级别的法律、市场营销和医学等。
    • 形式： 所有问题都是四选一的单项选择题。
    • 评估目的： 检验模型是否具备渊博的、跨学科的知识储备和应用这些知识解决问题的能力。一个在MMLU上得分高的模型，通常被认为是一个“知识渊博”的模型。

  2. Big-Bench (Beyond the Imitation Game Benchmark)

    • 侧重点： 探索LLM的能力边界和未来潜力。
    • 简介： Big-Bench是一个由社区协作创建的、极其多样化的基准，包含了超过200个任务。这些任务被设计得非常有挑战性，旨在测试当前LLM难以解决的能力，如常识推理、逻辑、物理直觉、创造性任务等。
    • 形式： 任务形式非常多样，包括选择题、生成题、比较题等。
    • 评估目的： Big-Bench的目标是“预测未来”。它试图找到那些一旦模型规模或技术发展到某个临界点就可能“涌现”出的新能力。它衡量的是模型的通用智能水平和前沿能力。

  3. HumanEval (Human-Labeled Evaluation)

    • 侧重点： 代码生成与编程能力。
    • 简介： HumanEval是一个由OpenAI创建的、专门用于评估代码生成能力的基准。它包含164个手写的编程问题，每个问题都提供了函数签名、文档字符串（docstring）、以及几个单元测试（unit tests）。
    • 形式： 模型需要根据函数签名和文档字符串，生成完整的Python函数体。
    • 评估方法： 采用 pass@k 指标。即模型生成k个代码样本，只要其中至少有一个能够通过所有的单元测试，就算通过。这衡量了模型编写正确、可用代码的能力。

其他重要基准：

  • GSM8K: 专注于评估小学水平的数学应用题的推理能力，需要模型进行多步的思维链推理。
  • ARC (AI2 Reasoning Challenge): 专注于评估需要科学常识和推理的、有挑战性的选择题。
  • HellaSwag: 专注于评估常识推理，任务是选择一个最合理的句子来续写一个给定的情景。