为什么只有 SFT 还不足以实现对齐？

和传统SFT相比，RLHF旨在解决语言模型中的哪些核心问题？为什么说SFT本身不足以实现我们期望的“对齐”目标？

与传统的监督微调（SFT）相比，RLHF（从人类反馈中进行强化学习）旨在解决语言模型中更深层次的“对齐”（Alignment）问题。这具体包括三个方面，通常被称为“HHH”原则：

1. 有用性（Helpfulness）： 模型应该提供准确、相关且信息量丰富的内容，尽力帮助用户解决问题。
2. 诚实性（Honesty）： 模型应基于其知识进行回答，不应捏造事实。在不知道答案或无法满足要求时，应主动承认，而不是产生幻觉。
3. 无害性（Harmlessness）： 模型不能产生有偏见、歧视性、暴力、色情或任何其他可能造成伤害的内容。

为什么SFT本身不足以实现对齐目标？

1. 目标定义模糊： “有用”、“诚实”、“无害”这些概念是复杂、主观且依赖上下文的，很难通过一个静态的、固定的SFT数据集来精确定义。例如，“怎样算一个有帮助的回答？”并没有唯一的正确答案，它取决于用户的偏好。
2. 偏好难以标注： 对于一个问题，可能有多个“正确”但风格、详略、侧重点不同的回答。SFT通常采用类似（prompt, ideal_response）的数据格式，它无法表达“回答A比回答B更好”这类细粒度的偏好信息。
3. 行为空间巨大： LLM可以生成几乎无限的回复。SFT数据集只能覆盖其中极小的一部分高质量示例，模型很容易学到数据集中的表面统计特征（statistical artifacts），而不是真正理解背后的原则。它教会了模型“模仿”，但没有教会模型“判断”。
4. 暴露偏差（Exposure Bias）： SFT在训练时，每一步都基于真实的“黄金”上下文。但在推理时，模型是基于自己生成的上下文来继续生成，一旦早期出现偏差，错误会累积。

RLHF通过引入一个代表人类偏好的奖励模型，让LLM在一个探索性的框架（强化学习）中学习，使其能够理解并优化那些难以用SFT范式表达的、模糊的人类偏好，从而更好地实现对齐。