奖励模型为什么常用成对偏好数据？

在RM训练阶段，我们通常收集的是成对比较数据，而不是让人类标注者直接给回复打一个绝对分数。你认为这样做的主要优势和潜在的劣势分别是什么？

在训练奖励模型（RM）时，采用成对比较（Pairwise Comparison）而非绝对评分（Absolute Scoring）是业界的标准做法，这背后有深刻的认知科学和实践考量。

主要优势：

1. 降低认知负荷，提升标注一致性： 让人在多个选项中选出“哪个更好”远比给一个选项打一个精确的绝对分数（如1到10分）要容易和直观。不同标注者对于“7分”的定义可能天差地别，但对于“A比B更好”的判断则更容易达成共识，这大大提升了数据的标注者间一致性（Inter-rater agreement）。
2. 提供更精细的信号： 比较数据能够捕捉到细微的偏好差异。两个回答可能在绝对分数上都是“好”的（比如都是8分），但比较数据可以明确指出其中一个比另一个“稍微好一点”，这种相对信号对于模型学习更精细的偏好至关重要。
3. 数据分布归一化： 绝对分数很容易受到标注者个人情绪、打分尺度、疲劳度等因素影响，导致分数分布不均或存在偏差。而比较数据天然地将问题转化为一个标准化的二元分类或排序任务，模型只需要学习相对关系，对绝对尺度不敏感。

潜在的劣势：

1. 数据效率可能较低： 每次比较只产生1比特的信息（A>B或B>A）。如果要对K个回答进行完整排序，需要进行 O(K^2) 次比较，而绝对评分只需要K次。这意味着要达到同等的信息量，可能需要更多的标注工作。
2. 可能出现不传递性（Intransitivity）： 人类偏好有时不满足传递性，即可能出现“A比B好，B比C好，但C比A好”的循环偏好。这会给奖励模型带来噪声和矛盾的训练信号。
3. 信息不完整： 比较数据只告诉我们相对好坏，但没有说明“好多少”或“差多少”。两个回答的差距可能微乎其微，也可能天差地别，但成对比较无法直接体现这种差异的幅度。