本文是LLM系列文章，针对《HELPSTEER2-PREFERENCE: COMPLEMENTING RATINGS WITH PREFERENCES》的翻译。

摘要

奖励模型对于使模型符合说明至关重要，通常按照两种流行的范式之一进行训练：Bradley Terry风格或回归风格。然而，缺乏证据表明，当数据充分匹配时，这两种方法都比另一种方法好。这主要是因为这些方法需要以不同（但不兼容）的格式收集数据，这意味着现有的公共数据集中没有足够匹配的数据。为了解决这个问题，我们发布了偏好注释（专为Bradley Terry训练设计），以补充HelpSteer2数据集中的现有评级（专为回归风格训练设计）。为了提高数据的可解释性，偏好注释伴随着人工编写的理由。使用这些数据，当数据充分匹配时，我们对Bradley Terry和回归模型进行了第一次面对面比较。基于这种比较得出的见解，我们提出了一种将Bradley Terry和回归奖励建模相结合的新方法。采用这种方法调整的Llama-3.1-70B-Instruct模型在RewardBench上的得分为94.1，截至2024年10月1日࿰