β-DPO:一种动态β直接偏好优化方法

随着大型语言模型(LLMs)的持续演进，如何使这些模型更贴合人类偏好已成为一个备受关注的研究方向。在众多对齐技术中，基于人类反馈的强化学习(RLHF)因其广泛应用而受到重视。然而，该方法在实际应用中仍面临稳定性不足以及对计算资源高度依赖的问题。

为应对RLHF的局限性，直接偏好优化(DPO)作为一种替代方案被提出。DPO通过挖掘奖励函数与最优策略之间的关联性，有效简化了策略模型的训练流程。其核心目标在于引导模型倾向于生成符合人类偏好的回应，而非那些不受欢迎的内容。在DPO框架中，β这一关键超参数承担着协调原始参考模型与新偏好之间平衡的重要作用。

当前关于DPO的研究大多未充分考虑β值选择与成对数据质量共同作用对模型对齐效果的影响。为解决这一问题，本文提出了一种创新性的方法——β-DPO。该框架能够在批次层面实现β值的动态调整，并综合考量数据质量因素。同时，β-DPO还引入了由β参数引导的数据筛选机制，以降低异常数据带来的干扰影响。

β-DPO方法的动机分析

成对数据质量对β选择的影响

为探究β参数选取及成对数据质量对DPO模型性能的影响，研究者开展了一系列初步实验。实验过程中涉及三个不同特性的数据集：

低差异数据集：采用Anthropic HH数据集，其中包含约170,000条人类与自动化助手之间的对话记录。该数据集的特点是响应内容之间