传统方法中，提高 LLMs 性能需要通过人工注释来收集更多多样化和高质量的训练数据，但这是一项资源密集型的任务。为了解决这个问题，来自伊利诺伊大学和 Google 的研究人员提出了 PIT 框架。该框架利用人类偏好数据来训练奖励模型，从而提高了 LLMs 的响应质量，优于传统的提示性方法。实验结果显示，在低温度设置下，PIT 框架能够取得更好的效果。PIT 框架为提高大型语言模型的性能提供了一种有前途的途径。