为什么评估 Agent 比评估基础 LLM 更复杂？

评估一个 Agent 为什么比评估一个基础 LLM 更加困难和复杂？评估的维度有哪些不同？

评估一个Agent比评估一个基础LLM更加困难和复杂，因为评估的对象从一个静态的、单轮的“文本生成器”，转变为一个动态的、多轮的、与环境交互的“决策者”。

困难和复杂性的根源：

1. 交互性与状态空间： 基础LLM是无状态的（stateless），其评估是“输入->输出”的简单模式。而Agent是有状态的（stateful），它与环境进行多步交互，每一步的行动都会改变环境和自身的内部状态。这导致其可能的行为轨迹（trajectory）数量是天文数字，难以完全覆盖。
2. 环境的动态性与不确定性： LLM的评估环境是确定的（相同的输入总是有相同的期望输出范围）。Agent的评估环境（如真实的网页、API）是动态变化的、不可预测的。一个今天还能用的API明天可能就失效了，一个网页的结构可能随时改变，这使得评估结果难以复现。
3. 非确定性（Non-determinism）： 由于LLM本身的采样随机性和环境的动态性，同一个Agent在完全相同的初始任务下，两次执行的结果和路径可能完全不同。
4. 任务的开放性： Agent处理的任务往往是开放式的、没有唯一正确答案的（例如，“帮我预订一张去新加坡的性价比最高的机票”），这使得定义一个简单的“正确/错误”指标变得不可能。

评估维度的不同：

评估维度	基础 LLM	Agent
核心评估对象	单个回答的质量 (Quality of a single response)	整个任务完成过程 (The entire task completion process)
主要维度	- 准确性 (Accuracy) - 流畅性 (Fluency) - 相关性 (Relevance) - 安全性 (Safety)	- 任务成功率 (Task Success Rate): 能否最终完成目标？ - 效率 (Efficiency): 完成任务花了多少资源？（见下文） - 鲁棒性 (Robustness): 能否处理异常和错误？ - 自主性 (Autonomy): 在没有人类干预的情况下能走多远？
新增的过程维度	(无)	- 成本 (Cost): LLM调用次数、API费用、Token消耗。 - 延迟 (Latency): 完成任务的总时间。 - 步骤数 (Number of Steps): 任务分解和执行的步数。 - 纠错能力 (Error Recovery): 从工具报错或错误状态中恢复的能力。
评估方法	静态数据集上的基准测试 (MMLU, HumanEval)	交互式环境中的基准测试 (WebArena, AgentBench)

总结来说，对LLM的评估更像是“产品质量检测”，而对Agent的评估更像是“路况复杂的真实驾驶测试”，不仅要看是否到达终点，更要看驾驶过程中的效率、安全性和应对突发状况的能力。