Note

为什么 BLEU、ROUGE 难以全面评估 LLM？

讨论词面重合指标在语义、开放生成、事实性和推理评估上的局限。

为什么传统的 NLP 评估指标（如 BLEU, ROUGE）对于评估现代 LLM 的生成质量来说，存在很大的局限性？

传统的NLP评估指标，如BLEU（常用于机器翻译）和ROUGE（常用于文本摘要），其核心思想是比较模型生成的文本与一个或多个“参考答案”在表层词汇（n-gram）上的重合度。这种方法对于评估现代LLM的生成质量存在巨大局限性，原因如下：

  1. 语义理解的缺失（Lack of Semantic Understanding）：

    • 这些指标只关心词汇的表面匹配，完全不理解其背后的语义。例如，“今天天气很好”和“今天日光很灿烂”，在人类看来意思相近，但它们的BLEU/ROUGE得分会很低，因为词汇重合度小。反之，一个与参考答案词汇高度重合但语法不通或逻辑混乱的句子，也可能得到高分。

  2. 无法评估事实准确性（Cannot Evaluate Factual Accuracy）：

    • LLM的核心挑战之一是幻觉。一个生成的答案可能在语言上非常流畅，甚至与参考答案的风格相似，但包含完全错误的事实。BLEU/ROUGE无法检测出这种事实性错误。

  3. 忽略了多样性与创造性（Ignores Diversity and Creativity）：

    • 对于开放式生成任务（如对话、写作、头脑风暴），根本不存在唯一的“标准答案”。一个好的LLM应该能生成多样化、有创意且合理的回答。而基于固定参考答案的评估方法会“惩罚”任何与参考答案不同但同样优秀的回答，扼杀了创造性。

  4. 对长文本的评估能力差（Poor for Long-form Content）：

    • 这些指标在评估长篇文本（如文章、报告）的连贯性（Coherence）、逻辑性和结构性方面几乎是无能为力的。它们只能进行局部、零碎的词汇匹配。

  5. 对推理过程的无视（Ignores Reasoning Process）：

    • 对于需要推理的问题（如数学题、逻辑题），LLM的价值不仅在于最终答案，更在于其“思维链”。BLEU/ROUGE只能比较最终答案的字符串，完全无法评估推理步骤是否正确。

总之，现代LLM的评估需要超越表层词汇，深入到语义理解、事实性、逻辑推理、安全性、遵循指令等更高维度的能力层面，而这正是BLEU和ROUGE等传统指标的盲区。