Note

除了任务成功率，还应关注哪些 Agent 过程指标？

介绍执行效率、成本、鲁棒性与其他过程指标的评估价值。

在评估一个 Agent 的任务完成情况时，除了最终结果的正确性，还有哪些过程指标是值得关注的？（例如：效率、成本、鲁棒性）

在评估Agent时，只看最终结果的正确性（Task Success）是远远不够的。一个优秀的Agent不仅要能“做对事”，还要“聪明地、高效地、可靠地做事”。因此，关注过程指标至关重要，它们能更全面地反映Agent的智能水平。

值得关注的关键过程指标包括：

1. 效率 (Efficiency):

  • 定义： 衡量Agent完成任务所消耗的资源。效率是决定Agent在现实世界中是否可用的关键因素。
  • 具体指标：
    • 成本 (Cost):
      • Token消耗量： Agent在所有思考和生成步骤中消耗的总Token数。
      • API调用费用： 如果使用了付费的LLM或工具API，完成一次任务的总花费。
    • 延迟 (Latency):
      • 总耗时 (Wall-clock Time): 从任务开始到结束所经过的真实时间。
      • 计算时间 (CPU/GPU Time): Agent自身运行所占用的计算时间。
    • 步骤数 (Number of Steps / Turns): Agent执行“思考-行动”循环的总次数。通常，能用更少步骤完成任务的Agent被认为规划能力更强。

2. 鲁棒性 (Robustness):

  • 定义： 衡量Agent在面对非理想、非预期情况时的表现。
  • 具体指标：
    • 错误处理能力 (Error Handling Capability): 当工具返回错误、网页加载失败或遇到预期外的环境状态时，Agent能否识别问题并采取纠正措施（例如，尝试不同的工具、修正输入参数、重新规划）。
    • 抗干扰能力 (Disturbance Resistance): 在环境中加入一些噪声或误导性信息，评估Agent的成功率下降了多少。

3. 自主性与对齐 (Autonomy & Alignment):

  • 定义： 衡量Agent在多大程度上能够独立完成任务，以及其行为是否符合人类的意图。
  • 具体指标：
    • 需要人类干预的次数 (Number of Human Interventions): 在一个需要人类协助的系统中，一个更自主的Agent需要人类帮助的次数更少。
    • 行为可解释性 (Interpretability): Agent的“思考”过程是否清晰、合乎逻辑，是否能让人类理解其决策依据。
    • 计划遵循度 (Plan Adherence): 如果Agent预先生成了一个计划，它在多大程度上遵循了自己的计划。

通过综合评估这些过程指标，我们不仅能知道Agent“是否能行”，还能深入了解它“行不行得好”，并找到针对性的优化方向。