Note

有哪些专门评估 Agent 能力的基准？

整理 Agent 基准中的任务、交互环境与能力覆盖方式。

你了解哪些专门用于评估 Agent 能力的基准测试？这些基准通常如何构建测试环境和任务？

是的，随着Agent研究的兴起，一系列专门用于评估Agent能力的基准测试被开发出来，它们的核心特点是提供可控的、可复现的交互式环境。

几个知名的Agent能力基准测试：

  1. WebArena:

    • 专注领域： 网页浏览与操作。
    • 简介： 一个高度逼真的、独立的网页环境模拟器。它复刻了多个真实网站（如电商、论坛、软件开发协作工具）的功能，让Agent在其中完成真实世界的复杂任务。
    • 任务举例： 在电商网站上找到一个满足特定要求（如价格、评分）的商品并加入购物车；在论坛上预订一个会议室。
    • 评估方式： 基于最终网页状态的程序化判断（例如，购物车里是否有正确的商品）。

  2. AgentBench:

    • 专注领域： 通用Agent能力的综合评估。
    • 简介： 一个全面的基准，包含了8个不同环境来评估Agent在不同场景下的能力。
    • 任务举例：
      • 操作系统环境： 在一个Linux终端中操作文件、执行命令。
      • 数据库环境： 根据自然语言问题，对一个SQL数据库进行查询。
      • 知识图谱环境： 在知识图谱中进行多跳推理。
      • 游戏环境： 玩一些简单的文字冒险游戏。

  3. GAIA (General AI Assistants):

    • 专注领域： 模拟人类使用真实工具完成复杂任务。
    • 简介： 一个极具挑战性的基准，其问题通常需要Agent进行多步推理，并组合使用多种工具（如网页浏览器、代码解释器、文件操作）才能解决。这些问题被设计得对人类来说很简单，但对AI来说却很困难。
    • 任务举例： “找出引用了论文A和论文B的所有论文中，被引用次数最高的那篇的第三位作者是谁？”

这些基准通常如何构建测试环境和任务？

  1. 环境构建 -> 沙箱化与可复现性（Sandboxing & Reproducibility）：

    • 为了安全和可复现，基准测试通常不会让Agent直接访问真实的互联网，而是创建一个受控的、隔离的环境。
    • 方法：
      • 使用 Docker 容器来封装一个包含浏览器、终端、文件系统的独立环境。
      • 对于网页浏览，通常会本地托管一个网站的静态副本，或使用Web后台模拟器来响应Agent的请求。
      • 对API的调用会被重定向到一个模拟（mock）的API服务器上。

  2. 任务构建 -> 目标导向（Goal-Oriented）：

    • 任务通常以一个 高层次的目标（high-level goal） 的形式给出，而不是具体的步骤指令。
    • 任务的设计会尽量覆盖多种需要Agent展示的能力，如信息检索、工具使用、推理规划、记忆等。
    • 任务通常附带一个明确的、可程序化验证的成功标准。

  3. 评估构建 -> 程序化验证（Programmatic Validation）：

    • 评估的核心是自动判断任务是否成功。
    • 方法： 在Agent完成任务后，一个 评估脚本（evaluator script） 会自动检查环境的 最终状态（final state） 是否满足成功条件。
    • 举例：
      • 检查磁盘上是否创建了内容正确的文件。
      • 检查购物车的最终状态是否包含了正确的商品和数量。
      • 检查Agent提交的最终答案字符串是否与标准答案匹配。