Note

如何持续监控线上 LLM 与 Agent 的表现？

从日志、质量监控、人工分析到反馈迭代构建持续评估流程。

如何持续监控和评估一个已经部署上线的 LLM 应用或 Agent 服务的表现，以应对可能出现的性能衰退或行为漂移？

对已部署上线的LLM应用或Agent服务进行持续监控和评估，是一个主动的、循环的过程，旨在应对模型漂移（Model Drift）和数据漂移（Data Drift），确保服务质量的稳定。

数据漂移指生产环境中的输入数据分布发生了变化（例如，用户开始问一些新型的问题），而模型漂移指模型的预测能力因数据漂移而下降。

一个完整的监控评估体系应包含以下几个层面：

1. 采集与日志（Collection and Logging）：

  • 全面日志： 记录每一次请求的完整交互数据，包括用户输入、模型生成的中间步骤（如Agent的思考链）、最终输出、调用的工具、延迟、Token消耗等。
  • 用户反馈： 在产品界面中嵌入明确的用户反馈机制，如“顶/踩”按钮、打分、一键报告问题等。这是最直接的性能信号。

2. 自动化监控（Automated Monitoring）：

  • 监控代理指标（Proxy Metrics）： 监控那些与性能高度相关的、可自动计算的指标。这些指标的异常波动通常是问题的早期预警。
    • 输入指标： 问题长度、主题分布、提问语言等。
    • 输出指标： 回答长度、代码块比例、JSON格式错误率、拒绝回答率等。
    • 过程指标（针对Agent）： 平均执行步数、工具调用频率、工具调用失败率。
  • 自动化质量评估：
    • 定期抽样： 从生产流量中随机抽取一小部分样本。
    • LLM-as-a-Judge： 使用一个强大的“裁判LLM”，根据一套固定的评估准则（如是否有害、是否跑题），对抽样样本进行自动打分。
    • 对比黄金集： 将抽样样本与一个内部维护的、高质量的“黄金评估集”进行对比，看模型在这些关键问题上的表现是否稳定。

3. 人工审核与分析（Human Review and Analysis）：

  • 定期人工审计： 定期组织运营或评估团队，对生产环境中的随机样本、用户反馈的坏案例、以及自动化监控发现的异常案例进行深入的人工分析。
  • 根本原因分析（Root Cause Analysis）： 对于发现的问题，需要深入分析是哪个环节出了问题？是LLM本身能力退化？是Agent的规划逻辑有误？还是某个工具API发生了变更？

4. 反馈闭环与模型迭代（Feedback Loop and Model Iteration）：

  • 持续的数据管理： 将从生产环境中发现的有价值的案例（特别是失败案例和用户不喜欢的案例）清洗、标注后，持续地加入到评估集和微调数据集中。
  • 定期再训练/微调： 根据积累的新数据，定期对模型进行微调（Fine-tuning）或重新训练（Re-training），以适应新的数据分布和用户需求。
  • A/B测试： 在上线新版本的模型或Agent逻辑时，使用A/B测试框架，小流量验证新版本的性能是否优于旧版本，确保每次迭代都是正向的。

通过建立这样一个“采集 -> 监控 -> 分析 -> 迭代”的闭环，我们可以主动地管理和维护线上服务的质量，而不是被动地等待用户投诉。